简数导航:简数首页 简数控制台 采集入门教程 数据导出发送 采集翻译
无列表页翻页,其他批量采集方法
采集的列表页没有翻页,例如需点击加载更多,滚动加载(瀑布流加载)等列表页,可尝试以下方法间接批量采集:
1. JS异步加载功能
使用JS动态功能加载网页内容,在【列表提取器】页面右上方,勾上【使用JS动态数据】,点击保存按钮,然后刷新页面查看网页内容是否显示。
2. 详情页批量采集模式
列表页没有翻页,可以查看文章页网址是否有规律变化(按数字递增),选择详情页(零散采集)模式,批量生成文章页网址采集。
3. 循环采集下一篇文章方式
如果详情文章页有 “下一篇文章” 等链接,可以使用无限循环采集功能,不断循环采集每篇文章的下一篇文章,实现采集网站大部分文章的效果。
4. 网站地图采集方式
查看是否有网站地图页面,使用网站地图(sitemap)模式采集:网站地图(Sitemap)提取网址。
5. JSON采集方式
查看是否有返回JSON数据的网址,使用JSON模式采集:如何获取返回Json数据网址