简数导航:简数首页 简数控制台 采集入门教程 数据导出发送 采集翻译
列表翻页配置(批量网址采集)
批量采集网站文章时,文章链接通常来自多个列表页(翻页),且这些列表翻页的网址大多存在规律(比如末尾数字按 1、2、3… 递增),用户可使用 "批量生成网址" 与 "手动输入网址" 两种方式,一次性添加全部列表页网址。
列表翻页添加方式:
1. 批量生成网址
适用场景:列表翻页网址有明确规律时(如末尾数字1、2、3… 递增、字母a 到 z 变化等),可设置批量规则自动生成所有列表页网址,无需手动逐个添加。
示例1:数字递增生成
当列表翻页网址按固定数值递增时,可通过页码参数自动生成全部网址。示例如下:
第一页:https://www.域名.com/sitehome/p/1
第二页:https://www.域名.com/sitehome/p/2
第三页:https://www.域名.com/sitehome/p/3
规律说明:网址末尾的数字为页码,每页递增 1。
此时将数字替换为参数#sd_pageNo#(自动填充页码的占位符),系统会自动生成对应所有页码的网址,操作步骤如下:
1)用鼠标选中网址末尾代表页码的数字;
2)点击右侧蓝色的「参数 #sd_pageNo#」按钮,系统会自动将选中内容替换为该参数,无需手动输入;
3)设置翻页范围,填写起始与结束页码;
4)将步长设置为 1(即数字每次递增的间隔,若设为 2,生成的页码则为 1、3、5、7…);
5)设置保存后,关闭批量生成网址配置窗口;
6)最后务必点击任务基本信息页面下方的保存按钮,批量生成的网址才存储到当前任务。
示例2:按自定义一组值生成
除了数字递增,也可以用一组自定义内容生成网址,适合网址按字母、分类名等非数字规律变化的场景。
操作方法:将自定义的多个值用英文逗号分隔,填入规则中。
注意事项:单个采集任务内,所有列表页网址的总数量不能超过 5000 个,超出请拆分到新任务中(可通过复制任务快速创建)。
2. 手动输入网址
适用场景:列表页网址无规律,或只有少量零散的列表页需要采集。
操作方法:直接在输入框中填写网址,多个网址用回车换行分隔,支持直接粘贴批量网址。
示例:输入 3 个零散网址