Json提取网址
简数采集器支持采集Json数据格式页面中的网址,常见于点击加载更多,滚动加载(瀑布流加载)等网址没有变化的列表页页面。
详细使用步骤:
1. Json采集模式
在【列表提取器】页面中选择【Json数据】,即可切换为Json采集模式,切换后不支持鼠标点选生成采集规则了。
注意:Json采集模式建议使用高级模式创建任务,如果使用智能向导创建任务设置Json采集模式,列表提取器设置请先跳过不配置,任务创建完成后再进入列表提取器设置才能保存成功。
2. 获取文章网址
在Json采集模式,主要是观察获取Json数据中和文章页网址相关的一个属性值(例url或ArticleId或ID等),然后再组合成正确的文章页网址格式,系统会循环获取全部Json数据中对应的属性值,生成多个文章页网址。
提取JSON键名:获取与文章页网址相关属性名称(一般是文章的网址或网址中数字id),例如url或ArticleId或ID等,只可填写一个;
链接生成定义(参数模式,可选):组合成正确的文章页网址格式,如果获取的属性值已经是文章网址链接,则不填写;
- 填写的格式:
#[提取JSON键名]#
表示获取的属性值参数,例如【提取JSON键名】栏填写ArticleId
,【链接生成定义】则为http://www.域名.com/news/#[ArticleId]#.html
- 填写的格式:
注意:Json采集模式不支持鼠标点选生成采集规则。
3. 获取网址预览
完成Json采集模式配置,点击列表提取器页面右上角的【保存】按钮,再点击【测试提取JSON】按钮,页面左侧【数据预览】即会显示部分获取的文章网址链接,检查配置是否正确。
4. 附录:如何获取返回Json数据网址
使用浏览器的开发者工具尝试获取返回Json数据的网址,注意并不是所有网站都可以获取到的。(以chrome浏览器为例)
先在浏览器访问要采集的网址--》等页面加载完成后,点击键盘F12
或者鼠标右键检查进入开发者工具--》切换到Network
界面的,选择XHR
筛选--》回到网站页面,点击页面的加载更多按钮,或者滚动下拉页面-》在Network
界面出现对应的加载文件,查看Request URL
的网址即可获取。