简数导航: 简数首页   简数控制台

列表页无翻页采集方法

  采集的列表页没有翻页,例如需点击加载更多,滚动加载(瀑布流加载)等列表页,可尝试以下方法间接采集:

  1. 详情页(零散采集)模式

  列表页没有翻页,可以查看下文章页网址是否有规律变化,使用详情页(零散采集)模式来采集,批量生成文章页网址。

  2. 网站地图采集方式

  查看是否有网站地图,使用网站地图(sitemap)模式采集:网站地图(Sitemap)提取网址

  3. JSON采集方式

  查看是否有返回JSON数据的网址,使用JSON模式采集:如何获取返回Json数据网址

results matching ""

    No results matching ""