简数导航:简数首页 简数控制台 采集入门教程 数据导出发送 采集翻译
导出发送常见问题(汇总)
- 如何添加IP到白名单或安全组
- 发送目标字段映射配置,无对应字段选项解决方法
- 发送目标字段组合方法
- 发送失败常见问题
- 发送可能失败,Read timed out或错误代码 500 解决方法
- 数据发送时,服务器负载过高的解决方法
- 数据发送时间配置方法
1. 如何添加IP到白名单或安全组
发送失败时,可以尝试加一下ip到白名单,十有八九可以解决。
因为发送是不断请求服务器,很多服务商会认为是攻击,阻拦屏蔽掉。
注意:IP可从简数控制台发送目标管理页面下方获取;
IP白名单配置一般是在服务器的控制台或宝塔面板处:
阿里云服务器的ip白名单设置
宝塔面板的ip白名单设置
I、5.9版本之前的宝塔有自带的WAF防火墙(或过滤器),在软件管理的Nginx设置处,添加简数ip到IP白名单,
6.X版本之后的宝塔没有自带的防火墙,如果没有安装防火墙,就无需在宝塔端添加IP白名单。
II、如果是安装了付费版宝塔防火墙,添加IP白名单设置在软件管理处:
2. 发送目标字段映射配置,无对应字段选项解决方法
在自定义HTTP接口或数据库配置发送目标的第二步字段映射配置处,【参数值,来源1】的下拉列表中没有对应的字段选项(例如新增的自定义字段,翻译api接口生成的翻译字段等),解决方法如下:
1)先确定该任务采集结果中有要选择的字段,注意区分大小写和前后有无多余空格;
2)进入该任务的【发送目标管理】界面,点击复制或新建发送目标,只要该发送目标名称是蓝色字体的即可。
3)进入复制或新建的发送目标第二步字段映射配置界面,就可以选择到对应的字段,例如自定义字段。
PS:造成该问题的原因---发送目标中可选的字段是与创建它的任务相关联,发送目标名称红色字体的是其它任务的,蓝色是本任务的,如果字段命名一致发送目标是可以通用的,无需每个任务下都重复创建同一个目标的;
3. 发送目标字段组合方法
在HTTP接口、数据库和Web配置发送目标的字段映射配置处,可选择多个字段组合,默认分隔符是英文逗号,可在配置页面最下方修改分隔符。
4. 发送失败常见问题
当发送数据到自定义http接口或CMS提示失败,常见问题可按照以下相应方法解决:
1)提示标题不能为空
或内容不能为空
错误,请检查简数发送目标第二步映射配置的标题和内容是否有映射title
和content
字段,再检查发送的采集数据title
和content
字段是否为空值;
2)提示password error
或密码错误,请检查发送目标处填写的密码,是否和发布插件接口设置的密码一致;
3)提示Name or service not known
,检查发送目标填写的接口地址是否正确,是否能正常访问;
4)提示404
错误代码,检查发送接收数据插件是否安装正确,还有检查发送目标填写的接口地址是否正确,是否能正常访问,前后有无空格;
5)提示403
错误代码,是由于防火墙或安全软件拦截,请添加简数的ip到白名单,详细操作可看如何添加IP到白名单或安全组;
6)提示301
错误代码,检查发送目标第一步接口地址的http和https协议有无填写错误;
7)提示405
错误代码,是网站创建时默认生成的index.html没有删除,建议备份后删除,再尝试发送;
5. 发送可能失败,Read timed out或错误代码500
解决方法
当提示发送可能失败、Read timed out
或者错误代码500
,请先在接收的系统后台搜索有无相关数据,实际有接收到数据,可能是网络或服务器超时导致返回成功的信息丢失,不介意可以忽略不处理。
如果后台系统后台搜索没有相关数据,请逐一排查以下问题:
1)请检查发送目标填写的接口地址是否正常访问;
2)系统是否正常运行,在系统后台手动发表一条数据是否正常;
3)网站已换成https协议,但发送目标的接口地址仍为http导致;
4)插件冲突(常见是图片插件,优化插件等),先暂停系统的其他插件,只保留发布插件,再发送测试;
5)服务器PHP版本过高或过低,切换其他PHP版本,再发送测试;
6)采集的数据某个字段值格式不正确,或者值有特殊字符(例如表情字符),常见的是时间参数映射的pubDate
字段值格式不对,或者值不是时间;
解决方法:在发送目标第二步,每个参数都排查一遍(可以先只保留必填参数来快速排除),操作步骤如下:先修改一个参数的映射配置,在【来源1】不选择映射采集字段 --》在其【来源2】填写固定值,发送测试是否正常--》接着换另一个参数重复以上步骤排查
7)可能是被安全软件或防火墙阻拦,请尝试添加简数的ip到白名单,详细操作可看如何添加IP到白名单或安全组;
8)如果使用了CDN加速,可能是CDN某些配置导致(例如CDN的回源HOST关闭后就正常发送了);
9)服务器内存溢出,修改PHP的memory_limit内存大小分配上限,然后重启服务器,再发送测试;
6. 数据发送时,服务器负载过高的解决方法
当数据发送时遇到服务器负载过高的问题,可以尝试以下解决方法:
1)请检查是否存在多个任务在同一时间内发送数据的情况,并发模式易使服务器负载过高,建议分开不同时间段发送数据;
2)增加简数的数据发送间隔至1或2秒(默认0.3秒),以减轻服务器负载,设置方法:简数控制台 -> 全局配置 -> 全局选项配置。
3)发送插件接口的重复标题数据不发送功能,数据越多,查询所需时间就越长,可能会导致服务器负载过高,建议数据量过多时关闭此去重功能(大于3万数据);
4)可能和CMS系统的某个插件存在冲突,导致服务器负载过高,可以逐个暂停其他插件来排查;
7. 数据发送时间配置方法
在发送目标的第二步【配置映射对应字段】中,可以设置数据发送时间,默认是发送时的时间,可改为随机时间,pubDate字段(一般对应采集源原本的时间,需在详情页提取器处设置),抓取时间等。
注意:由于大部分CMS系统无法识别中文时间格式(如2024年11月1日
),因此建议使用标准的时间格式:2024-11-01
或2024/11/01
。