简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

无列表页翻页,其他批量采集方法

  采集的列表页没有翻页,例如需点击加载更多,滚动加载(瀑布流加载)等列表页,可尝试以下方法间接批量采集:

  1. JS异步加载功能

  使用JS动态功能加载网页内容,在【列表提取器】页面右上方,勾上【使用JS动态数据】,点击保存按钮,然后刷新页面查看网页内容是否显示。


  2. 详情页批量采集模式

  列表页没有翻页,可以查看文章页网址是否有规律变化(按数字递增),选择详情页(零散采集)模式,批量生成文章页网址采集。


  3. 循环采集下一篇文章方式

  如果详情文章页有 “下一篇文章” 等链接,可以使用无限循环采集功能,不断循环采集每篇文章的下一篇文章,实现采集网站大部分文章的效果。


  4. 网站地图采集方式

  查看是否有网站地图页面,使用网站地图(sitemap)模式采集:网站地图(Sitemap)提取网址


  5. JSON采集方式

  查看是否有返回JSON数据的网址,使用JSON模式采集:如何获取返回Json数据网址


简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

results matching ""

    No results matching ""