一 新手入门必看(推荐)

一点概念:

  大多数网站都是以列表页详情页的层次结构进行组织的,例如我们进入新浪新闻频道,有很多标题链接,这可认为是列表页。点标题链接后进入的便是详情页。

  而使用数据采集工具一般目的:大批量地获取详情页里面的具体内容数据,并使用这些数据进行各种分析,发布自有网站等等。

  列表页:指栏目或目录页面,一般包含有多个标题链接。如:网站首页或栏目页面都是列表页。主要作用:通过列表页可获取多个详情页的链接。

  详情页:包含具体内容的页面,如一篇网页文章,里面含有:标题,作者,发布日期,正文内容,标签等。

  开始,请先登录进入“简数控制台":

详细使用步骤:

  1. 创建采集任务
  2. 完善列表页的智能抽取结果(可选)
  3. 完善详情页的智能抽取结果(可选)
  4. 启动运行


第一步:创建采集任务

  点击左侧菜单按钮“创建采集任务”,输入采集任务名和要采集的”列表页“网址,如:https://www.cnblogs.com/ (这里首页即作为列表页:内容含有多个详情页即可),详情页链接可不填,系统会自动识别。

如下图:

输入后点击 ”下一步“


第二步:完善列表页的智能抽取结果(可选)

  系统会先采用智能算法获取需要采集的详情页链接(多个),用户可以双击打开检查,如果不是想要数据,可以点击“列表提取器”进行手动指定,只需要在可视化界面上用鼠标点击。

智能获取结果如下图:

  另外:上面结果中,系统也智能发现了翻页规则,用户可以设置要采集多少页。也可以稍后在任务中的“基本信息&入口网址”--》“按规则生成网址”项中进行配置。

列表提取器 打开后如下图:


第三步:完善详情页的智能抽取结果(可选)

  上一步获取了多个详情页链接后,继续下一步,系统会使用其中一个详情页链接来智能抽取详情页数据(如:标题,作者,发布日期,内容,标签等)

详情页智能抽取结果如下:

  如果智能抽取的内容非想要的,那么可以打开"详情提取器"进行修改。

如下图:  可以在左侧对各字段进行修改或增加删除等。

  还可以对每个字段进行详细设置或数据处理(双击字段即可):替换,提取,过滤,设置默认值等等,

如下图:


第四步:启动运行

完成后,即可启动运行,进行数据采集了:

  采集后的数据结果,在该采集任务的“结果数据&发布”里面,您可以在这里对数据进行修改或者直接导出excel或发布你的网站(WordPress,织梦DEDE,HTTP接口,数据库等)。

  完成,数据采集就这么简单!!!

  其它操作,如发布或图片文件ftp回传等,请参考其它章节。发布见 发布到wordpress

简数导航: 简数采集   简数控制台   如何使用简数SEO工具   微信公众号文章采集   今日头条采集  

results matching ""

    No results matching ""