简数导航:简数首页 简数控制台 采集入门教程 数据导出发送 AI写作生成 文档AI助手
采集任务网络配置
简数采集器网络配置支持页面编码、User-Agent、Cookie 登录验证、自定义请求头、POST 请求等多种参数设置,适配不同网站的采集环境要求,解决采集乱码、访问限制、接口数据抓取等问题。
网络配置有两个常用入口:一是规则提取器配置页面的 "网络配置" 按钮,方便配置时调整与测试(见上图);二是任务的【启动采集】配置弹窗内(见下图)。
使用说明:
1. 页面编码(解决文本乱码)
页面编码决定了浏览器如何解读网页文字,设置错误会出现乱码。目前绝大多数网页使用 UTF-8 编码。
如果采集内容出现乱码,可尝试切换为 GBK 或 GB2312 编码,然后重新采集。
2. User-Agent(模拟多种设备)
User-Agent 是一段标识你所用浏览器和设备的字符串,网站会据此返回适配对应电脑、手机或平板等设备的网页内容
3. Cookie(模拟登录账号)
Cookie 能让网站“记住”用户的状态信息,比如是否已经登录、偏好的字体大小和所在地区等。
如需采集网站登录后才能看到的内容,可使用 Cookie 功能,具体操作请参阅《获取Cookie进行登录采集教程》。
4. HTTP-Header(自定义请求头)
HTTP-Header 是访问网站时,浏览器向服务器发送请求时附带的额外信息,可用于告诉服务器你的环境、偏好或身份凭证等,让服务器返回你想要的数据格式。
//示例1:采集多语言网站时,要求服务器优先返回简体中文内容
accept-language: zh-CN,zh;q=0.9,zh-TW;q=0.8,en-US;q=0.7,en;q=0.6
示例2:采集需要身份验证的网站
Authorization: Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9..
添加自定义的请求头格式为:参数名: 值(每行一组,多组回车换行分隔)。
5. 请求方法(POST采集配置)
针对通过 POST 方式动态加载数据的网站,可自定义请求方法、请求体参数与请求体类型,突破普通 GET 采集的限制,实现接口型网页的正常数据采集。
适用场景
- 列表页翻页:网页URL不变,通过POST请求体传递页码参数(如
{"pageNo":2})来获取数据; - 搜索/筛选提交:模拟在搜索框输入关键词或筛选条件,通过POST请求体提交表单参数,获取相应结果数据;
- API接口调用:直接对接后端接口,需携带JSON或Form格式的参数才能返回数据。
配置方法:打开提取器页面的 "网络配置" → 将对应页请求方法切换为 POST → 在 "请求体" 框中输入要求的参数,例如 {"pageNo":2,"pageSize":10} → 选择对应的 "请求体类型" → 保存后重新加载页面,测试配置是否生效。
提示:列表页和详情页可分别独立配置请求配置。