简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

列表翻页配置(批量网址采集)

  批量采集网站文章时,文章链接通常来自多个列表页(翻页),且这些列表翻页的网址大多存在规律(比如末尾数字按 1、2、3… 递增),用户可使用 "批量生成网址" 与 "手动输入网址" 两种方式,一次性添加全部列表页网址。

列表翻页添加方式:

  1. 批量生成网址
  2. 手动输入网址

1. 批量生成网址

  适用场景:列表翻页网址有明确规律时(如末尾数字1、2、3… 递增、字母a 到 z 变化等),可设置批量规则自动生成所有列表页网址,无需手动逐个添加。

  示例1:数字递增生成

  当列表翻页网址按固定数值递增时,可通过页码参数自动生成全部网址。示例如下:

第一页:https://www.域名.com/sitehome/p/1

第二页:https://www.域名.com/sitehome/p/2

第三页:https://www.域名.com/sitehome/p/3

  规律说明:网址末尾的数字为页码,每页递增 1。

  此时将数字替换为参数#sd_pageNo#(自动填充页码的占位符),系统会自动生成对应所有页码的网址,操作步骤如下:

  1)用鼠标选中网址末尾代表页码的数字;

  2)点击右侧蓝色的「参数 #sd_pageNo#」按钮,系统会自动将选中内容替换为该参数,无需手动输入;

  3)设置翻页范围,填写起始与结束页码;

  4)将步长设置为 1(即数字每次递增的间隔,若设为 2,生成的页码则为 1、3、5、7…);

  5)设置保存后,关闭批量生成网址配置窗口;

  6)最后务必点击任务基本信息页面下方的保存按钮,批量生成的网址才存储到当前任务。


  示例2:按自定义一组值生成

  除了数字递增,也可以用一组自定义内容生成网址,适合网址按字母、分类名等非数字规律变化的场景。

  操作方法:将自定义的多个值用英文逗号分隔,填入规则中。

  注意事项:单个采集任务内,所有列表页网址的总数量不能超过 5000 个,超出请拆分到新任务中(可通过复制任务快速创建)。


2. 手动输入网址

  适用场景:列表页网址无规律,或只有少量零散的列表页需要采集。

  操作方法:直接在输入框中填写网址,多个网址用回车换行分隔,支持直接粘贴批量网址。

  示例:输入 3 个零散网址


简数导航:简数首页  简数控制台  采集入门教程  数据导出发送  采集翻译

results matching ""

    No results matching ""