简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

导出发送常见问题(汇总)

  1. 如何添加IP到白名单或安全组
  2. 发送目标字段映射配置,无对应字段选项解决方法
  3. 发送目标字段组合方法
  4. 发送失败常见问题
  5. 发送可能失败,Read timed out或错误代码 500 解决方法
  6. 数据发送时,服务器负载过高的解决方法
  7. 数据发送时间配置方法

1. 如何添加IP到白名单或安全组

  发送失败时,可以尝试加一下ip到白名单,十有八九可以解决。

  因为发送是不断请求服务器,很多服务商会认为是攻击,阻拦屏蔽掉。

  注意:IP可从简数控制台发送目标管理页面下方获取;

  IP白名单配置一般是在服务器的控制台或宝塔面板处:

  阿里云服务器的ip白名单设置

  

  宝塔面板的ip白名单设置

  I、5.9版本之前的宝塔有自带的WAF防火墙(或过滤器),在软件管理的Nginx设置处,添加简数ip到IP白名单,

  6.X版本之后的宝塔没有自带的防火墙,如果没有安装防火墙,就无需在宝塔端添加IP白名单。

  

  II、如果是安装了付费版宝塔防火墙,添加IP白名单设置在软件管理处:

     


2. 发送目标字段映射配置,无对应字段选项解决方法

  在自定义HTTP接口或数据库配置发送目标的第二步字段映射配置处,【参数值,来源1】的下拉列表中没有对应的字段选项(例如新增的自定义字段,翻译api接口生成的翻译字段等),解决方法如下:

  1)先确定该任务采集结果中有要选择的字段,注意区分大小写和前后有无多余空格;

  2)进入该任务的【发送目标管理】界面,点击复制或新建发送目标,只要该发送目标名称是蓝色字体的即可。

  3)进入复制或新建的发送目标第二步字段映射配置界面,就可以选择到对应的字段,例如自定义字段。

PS:造成该问题的原因---发送目标中可选的字段是与创建它的任务相关联,发送目标名称红色字体的是其它任务的,蓝色是本任务的,如果字段命名一致发送目标是可以通用的,无需每个任务下都重复创建同一个目标的;


3. 发送目标字段组合方法

  在HTTP接口、数据库和Web配置发送目标的字段映射配置处,可选择多个字段组合,默认分隔符是英文逗号,可在配置页面最下方修改分隔符。


4. 发送失败常见问题

  当发送数据到自定义http接口或CMS提示失败,常见问题可按照以下相应方法解决:

  1)提示标题不能为空内容不能为空错误,请检查简数发送目标第二步映射配置的标题和内容是否有映射titlecontent字段,再检查发送的采集数据titlecontent字段是否为空值;

  2)提示password error 或密码错误,请检查发送目标处填写的密码,是否和发布插件接口设置的密码一致;

  3)提示Name or service not known,检查发送目标填写的接口地址是否正确,是否能正常访问;

  4)提示404错误代码,检查发送接收数据插件是否安装正确,还有检查发送目标填写的接口地址是否正确,是否能正常访问,前后有无空格;

  5)提示403错误代码,是由于防火墙或安全软件拦截,请添加简数的ip到白名单,详细操作可看如何添加IP到白名单或安全组;

  6)提示301错误代码,检查发送目标第一步接口地址的http和https协议有无填写错误;

  7)提示405错误代码,是网站创建时默认生成的index.html没有删除,建议备份后删除,再尝试发送;


5. 发送可能失败,Read timed out或错误代码500解决方法

  当提示发送可能失败、Read timed out或者错误代码500,请先在接收的系统后台搜索有无相关数据,实际有接收到数据,可能是网络或服务器超时导致返回成功的信息丢失,不介意可以忽略不处理。

  如果后台系统后台搜索没有相关数据,请逐一排查以下问题:

  1)请检查发送目标填写的接口地址是否正常访问;

  2)系统是否正常运行,在系统后台手动发表一条数据是否正常;

  3)网站已换成https协议,但发送目标的接口地址仍为http导致;

  4)插件冲突(常见是图片插件,优化插件等),先暂停系统的其他插件,只保留发布插件,再发送测试;

  5)服务器PHP版本过高或过低,切换其他PHP版本,再发送测试;

  6)采集的数据某个字段值格式不正确,或者值有特殊字符(例如表情字符),常见的是时间参数映射的pubDate字段值格式不对,或者值不是时间;

解决方法:在发送目标第二步,每个参数都排查一遍(可以先只保留必填参数来快速排除),操作步骤如下:先修改一个参数的映射配置,在【来源1】不选择映射采集字段 --》在其【来源2】填写固定值,发送测试是否正常--》接着换另一个参数重复以上步骤排查

  7)可能是被安全软件或防火墙阻拦,请尝试添加简数的ip到白名单,详细操作可看如何添加IP到白名单或安全组;

  8)如果使用了CDN加速,可能是CDN某些配置导致(例如CDN的回源HOST关闭后就正常发送了);

  9)服务器内存溢出,修改PHP的memory_limit内存大小分配上限,然后重启服务器,再发送测试;


6. 数据发送时,服务器负载过高的解决方法

  当数据发送时遇到服务器负载过高的问题,可以尝试以下解决方法:

  1)请检查是否存在多个任务在同一时间内发送数据的情况,并发模式易使服务器负载过高,建议分开不同时间段发送数据;

  2)增加简数的数据发送间隔至1或2秒(默认0.3秒),以减轻服务器负载,设置方法:简数控制台 -> 全局配置 -> 全局选项配置。

  3)发送插件接口的重复标题数据不发送功能,数据越多,查询所需时间就越长,可能会导致服务器负载过高,建议数据量过多时关闭此去重功能(大于3万数据);

  4)可能和CMS系统的某个插件存在冲突,导致服务器负载过高,可以逐个暂停其他插件来排查;


7. 数据发送时间配置方法

  在发送目标的第二步【配置映射对应字段】中,可以设置数据发送时间,默认是发送时的时间,可改为随机时间,pubDate字段(一般对应采集源原本的时间,需在详情页提取器处设置),抓取时间等。

  注意:由于大部分CMS系统无法识别中文时间格式(如2024年11月1日),因此建议使用标准的时间格式:2024-11-012024/11/01


简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

results matching ""

    No results matching ""