文章采集入门教程(超详细)

一点概念:

  大多数网站都是以列表页详情页的层次结构进行组织的,例如我们进入新浪新闻频道,有很多标题链接,这可认为是列表页,点标题链接后进入的新闻正文便是详情页。

  列表页:指栏目或目录页面,一般包含有多个标题链接。如:网站首页或栏目页面都是列表页。主要作用:通过列表页可获取多个详情页的链接。

  详情页:包含具体内容的页面,如一篇网页文章,里面含有:标题,作者,发布日期,正文内容,标签等。

  提示:详细说明可见列表页概念详情页概念

  使用文章采集软件一般目的:大批量地获取详情页里面的具体内容数据,并使用这些数据进行各种分析,发布自有网站等等。

详细使用步骤:

  1. 登录简数控制台
  2. 创建采集任务
  3. 完善列表页的智能抽取结果
  4. 完善详情页的智能抽取结果
  5. 图片下载设置(可选)
  6. 启动采集任务
  7. 数据SEO处理(可选)
  8. 发布目标设置
  9. 手动发布数据
  10. 自动化采集与发布


第一步:登录简数控制台

  打开简数数据采集平台-http://www.keydatas.com 页面,点击右上角控制台,注册账号并登录进入控制台。


第二步:创建采集任务

  用户需先寻找要采集的网页,一般是 “列表页 + 详情页” 模式,教程以IT168网络安全频道-http://safe.it168.com/chanel-2-att-10-page-1.shtml为例,用户可以跟着教程操作一遍。

  点击【创建采集任务】按钮,使用智能向导模式创建任务,自命名任务名称与填写采集的列表页网址,再点击下一步即可。

  提示:智能向导创建任务最常用,还有其他创建任务的方式:高级创建任务微信公众号文章采集今日头条采集淘宝客采集


第三步:完善列表页的智能抽取结果

  I、查看列表页智能抽取结果

  使用智能向导创建任务,系统会先用智能算法获取详情页链接(多个),用户可以双击预览链接处的打开检查,如果不是想要的数据,可以点击【列表提取器】按钮进行手动修改。(建议每次创建任务都打开列表提取器进行确认)

  智能获取结果如下图:

  提示:上面结果中,系统智能发现了翻页规则,用户可以设置要采的页数。(建议在创建任务完成后再修改,详细教程可看 批量网址抓取配置

  例子IT168列表页很明显获取不正确,点击【列表提取器】按钮进入设置界面。

  列表提取器打开后如下图:发现智能获取的是页面底部的网站介绍信息(简数可视化采集,绿色框框住的内容代表已选择采集)


  II、修改列表页抽取规则

  修改列表页规则主要有3个步骤:

  1. 点击“重置当前字段”按钮,重新开始配置;
  2. 用鼠标点击要采集的链接(一般是标题),只需点击两个不同链接,系统便会自动选中其它相似的链接;
  3. 检查页面左下角“数据预览” 下方是否列出了文章链接地址(相对的或绝对链接都可以),如果有则配置正确,如果没有,需要再重复上面第1和第2步。(注意选择的Xpath路径是以a或者a/kds结尾才是正确的)

  修改完成后保存关闭,在智能向导界面点击刷新,再点击下一步;


第四步:完善详情页的智能抽取结果

  I、查看详情页智能抽取结果

  系统会智能抽取详情页以下数据:(智能抽取的模板是列表提取器获取的第一个链接详情页)

  title(标题),content(内容),author(作者),pubDate(发布日期),tag(标签),description(描述),keywords(关键字),category(分类)。

  智能获取结果如下图:如果智能抽取的内容非想要的或者为空,可以打开【详情提取器】进行修改。


  II、详情提取器界面

  左侧上方一列title、content、author等参数称之为字段,字段可添加、删除或重命名;

  在右侧页面显示窗口,用鼠标点击来设置采集页面指定位置的内容,绿色框表示该字段已选择的采集区域。


  III、修改详情页采集规则

  该例子智能获取大部分正确,现在假设content字段获取不正确,来演示如何修改,主要分三步:

  1. 重置当前字段配置;
  2. 选择要采集的指定位置内容;
  3. 检查规则通用性;

  1、点击选择要修改的content字段 ==》 再点击【重置当前字段配置】按钮;

  2、重置后,先勾选【获取HTML】(保留排版和图片) ==》 选择要采集的正文部分,如果发现难以精确选择到指定区域,此时可先选择正文里的一小段内容,再点击扩大点选区域;

  3、点击【典型详情页网址】栏,在下拉列表中选其它文章链接 ==》 查看预览并测试采集,确认是否通用;


  IV、字段数据处理配置(可选)

  每个字段都可进行数据处理(点击字段右侧绿色按钮或者下方设置按钮):删除、填充、替换、提取、过滤,设置随机或固定值等等。

  以content字段为例,一般正文里的原有链接都不保存的,可以进入对应的字段数据处理选择【删除所有链接(保留文本)】,保存即可;

  其他数据处理功能详情见字段数据处理配置


  V、完成采集规则配置

  完成详情提取器规则修改后,点击右上角【保存并关闭】按钮,在智能向导界面点击刷新,然后下一步,再点击finish,一般不直接点击启动采集,因为还有其他功能需要设置。

  提示:完成任务创建后,如果还想要设置多页列表页采集,可以看详细教程 批量网址抓取配置


第五步:图片下载配置(可选)

  如果需要将图片下载到用户服务器或者商业云存储(例:阿里云,七牛云等),需先设置图片下载,再启动采集。(不需要下载图片可跳过这一步)

  以下载图片到用户服务器为例:

  图片下载配置-存储方式选择

  点击【图片下载配置】==》点选【存储到简数】==》选择对应CMS系统的官方配置选项,例 “暂存简数-WordPress(官方)”==》 保存;

  提示:建议使用简数官方的图片下载配置即可,如果CMS系统默认存储图片的目录有改动,才需要创建新的暂存简数图片配置。

  其它图片存储方式配置请见:图片文件下载及云存储;


第六步:启动采集任务

  在任务中,点击右上角的【启动 | 定时采集】按钮,进入启动采集界面,一般使用默认配置即可,点击【启动 | 定时】按钮,开始采集。

  采集完成:


第七步:数据SEO处理(可选)

  不使用SEO规则的可以跳过这一步。

  在任务中,进入【结果数据&发布】栏目 ==》点击【SEO&简繁体&翻译工具】按钮 ==》选择SEO规则 “正文插入动态段落(官方)” ==》执行SEO(按发布状态)==》查看是否执行成功,有灰底的段落就是插入的动态段落,内容来源于同一任务的其他数据;

  提示:SEO规则的详细教程可以看如何使用简数SEO工具;


第八步:发布目标设置

  发布采集的文章到用户网站,需要2个步骤:

  1. 在用户网站系统后台安装简数发布插件;

  2. 创建发布目标(一般一个发布目标对应一个栏目);

  I、安装简数发布插件(以发布到wordpress为例)

  在WordPress网站后台左侧菜单打开:“插件” --》 “安装插件” --》 输入关键词 keydatas或简数 搜索插件--》 安装后,点击“启用”,左侧菜单便会出现“简数采集平台” --》 点击“简数采集平台” 即可修改发布密码等。

  提示:其他CMS系统简数发布插件的安装请看数据发布的详细教程

  II、创建发布目标

  在任务里点击【发布目标管理】栏目,按照CMS系统创建对应类型的发布目标,点击【+发布目标-WordPress】

  III、填写网站基本信息

  名称可自命名,网站首页链接请填写网站首页URL(http或https协议也需填上),发布插件密码是在用户CMS系统后台的简数插件处获取;

  VI、设置发布对应字段

  对wordpress网站的属性(下图:目标网站字段名列)进行映射匹配,每个属性可以设置为详情提取器中定义字段获取的内容(下图:值来源1列)或者 固定值(下图:值来源2列),两列只能一个有填选内容存在(值来源1列的内容优先生效)。

  例如下图中标题属性在值来源1列选择title,内容属性在值来源1列选择content,分类目录属性值来源1不选择对应字段,在值来源2列填写分类名称,例如新闻;(分类栏目设置详细教程

  设置完成后,保存关闭(第三步除非特殊需求,一般不用设置)。

  提示:其他CMS系统的字段设置可以查看 数据发布教程 或者 发布常见问题


第九步:手动发布数据

  在任务中,进入【结果数据&发布】栏目 ==》点击【发布数据】按钮 ==》选择发布目标 ==》点击【发布】按钮 ==》查看发布结果(按状态发布过程中,可以关闭页面或电脑的,是云端发布的);

  至此,手动创建任务,发布数据的流程就已结束,下面是自动化采集发布。


第十步:自动化采集与发布

  自动化采集与发布主要作用:

  1. 用户只需设置一次,系统就会自动定时采集,自动数据SEO处理和自动发布,省时省力高效;

  2. 实现定时定量更新网站内容,可有效提高网站的收录;

  I、自动发布与SEO设置

  在任务中,进入【自动化:发布&SEO&翻译】栏目 ==》勾选上【自动发布】 ==》选择发布目标 ==》勾选上【采集后,自动执行SEO】==》选择SEO规则 “正文插入动态段落(官方)” ==》最后点击保存按钮

  II、定时采集启动

  进入任务,点击右上角的【启动 | 定时采集】按钮 ==》勾上 “启用定时采集” ==》选择定时方式(以每天为例) ==》设置开始日期和时间(以30分钟后为例,点击30分钟按钮)==》设置截止时间(以2年后为例,点击设为2年后按钮)==》 点击【启动 | 定时】按钮==》查看定时采集是否成功运行;

  红色时钟小图标的右侧为下次运行的定时时间

  提示:建议开始时间为未来时间,不要设置已过去的时间;

  至此,自动化采集与发布的设置就完成了,更多简数文章采集软件的资料请看其它章节内容。


简数导航: 简数采集   简数控制台   如何使用简数SEO工具   微信公众号文章采集   今日头条采集  

results matching ""

    No results matching ""