简数导航:简数首页 简数控制台 采集入门教程 数据导出发送 采集翻译
发送到数据库
发送到数据库:把采集的数据直接发送到指定的数据库中(暂时只支持MySQL数据库)。该发送方式非常通用灵活,主要给用户自己开发的系统使用,需要开发人员配置(因涉及到数据库专业知识)。
具体操作步骤:
一、添加发送目标
二、数据库字段映射
三、数据发送
一、添加发送目标:
进入简数控制台,从【我的采集任务】列表中打开一个任务,进入采集任务管理页面,找到【导出目标管理】 ==》点击【数据库配置】,在【数据库配置】页面填选数据库基本信息,然后保存下一步,如下图:
注意:
- 数据库设置正确成功连接后,相应的数据库名和数据库表就可以从下拉项中选择;
- 数据库连接失败,注意数据库用户访问权限设置,可以先用Navicat软件连接查找问题;
二、数据库字段映射:
数据库基本信息配置正确后,进入【添加表字段及与抓取字段映射 】页面,已选数据库表中的全部字段都会被列出,用户需要在来源1选择映射采集抓取的参数,或者来源2填写固定值(参数值来源1和来源2,2选1,来源1优先生效),最后记得保存;
提示:如果【数据库表字段】的“选择字段”没有下拉项,请检查第一步数据库基本信息配置是否正确完整。
注意:数据库字段ID如果是自增长的,请删除ID的映射行,否则会发送失败的;
三、数据发送:
进入该任务管理页面,找到选项卡“结果数据,在数据列表选中一条或多条数据,点击上面的“数据发送”按钮,出现发送目标选择窗口:
选中刚才用户自己配置的数据库发送目标,点击“发送”按钮则开始发送。
四、发送数据库常见问题:
数据库连接失败,请检查数据库用户访问权限设置,可以用Navicat软件连接查找问题;
数据库字段ID如果是自增长的,请删除ID的映射行,否则会发送失败的;
检查是不是必填字段没有映射内容,数据库中设置为非空字段且没有默认值的字段就是必填字段;
如果发送失败,请检查数据库表字段字符类型,目前仅支持字符串和整型字段的映射发送(例如如果需要映射日期字段,需要将数据表中对应字段改成字符串类型);
如果字段要映射关键字
NULL
,不是填写NULL固定值,而是将这个字段删除不设置;字段长度等限制,请检查数据库字段长度是否可以满足插入的采集内容长度;
发送失败,如果是发送到阿里云数据库等有安全防护的服务器,需将简数IP添加到白名单;
发送失败还可能是数据库字符集问题,某些特殊字符是4个字节,而 mysql 的utf8编码最多3个字节,所以数据插不进去,解决方法可参考该文章更改MySQL数据库的编码为utf8mb4,注意备份;