列表页无翻页采集方法
采集的列表页没有翻页,例如需点击加载更多,滚动加载(瀑布流加载)等列表页,可尝试以下方法间接采集:
1. 详情页(零散采集)模式
列表页没有翻页,可以查看下文章页网址是否有规律变化,使用详情页(零散采集)模式来采集,批量生成文章页网址。
2. 网站地图采集方式
查看是否有网站地图,使用网站地图(sitemap)模式采集:网站地图(Sitemap)提取网址。
3. JSON采集方式
查看是否有返回JSON数据的网址,使用JSON模式采集:如何获取返回Json数据网址