前嗅ForeSpider教程:同一个网站中从另一页面采集数据

news/2024/4/29 2:50:16/文章来源:https://blog.csdn.net/weixin_34007906/article/details/88655972

大家在采集过程中有可能需要同时采集同一个网站不同页面的信息,今天小编为大家介绍一下从同一个网站另一个页面采集数据的具体操作流程。

第一步:新建任务
①点击左上角“加号”新建任务,如图1:

图片描述

②在弹窗里填写采集地址,任务名称,如图2:

图片描述

③点击下一步,选择进行数据抽取还是链接抽取,本次采集企业最新动态链接列表,所以点击抽取链接,选择链接列表,如图3:

图片描述

④完成之后,在模板抽取配置下生成两个模板,默认模板:01和链接列表:02。模板1中的“链接列表”链接抽取已与模板2关联,如图4。如果配置的时候发现关联有问题,可以自己进行更改。

图片描述

第二步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图5:

图片描述

③点击采集预览,确认链接抽取是否正确,如图6:

图片描述

第三步:在模板2添加示例地址,并添加链接抽取
①将模板1过滤得到的任意一条链接,作为模板2的示例地址。如:http://blog.11467.com/b427516...,如图7:

图片描述

②新建链接抽取。直接点击模板2,点击上面“新建链接抽取”按钮,得到链接抽取,如图8。

图片描述

③关联模板
在软件中模板的关联关系,与网页中链接跳转的关系相同。
根据网页跳转规律,模板1中的“链接列表”链接抽取已与模板2关联。如果配置的时候发现关联有问题,可以自己进行更改。

第四步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图9:

图片描述

③右击模板预览,查看链接抽取结果,如图10所示:

图片描述

④确认链接抽取是否正确,如图11:

图片描述

第五步:新建模板3添加示例地址,并添加链接抽取
①新建模板3,将模板2过滤得到的链接,作为模板3的示例地址。如:http://93358999.b2b.11467.com,如图12:

图片描述

②新建链接抽取。直接点击模板3,点击上面“新建链接抽取”按钮,得到链接抽取,如图13。

图片描述

③关联链接列表的“新建链接抽取”。
根据网页跳转规律,将模板2链接列表的“新建链接抽取”关联模板3。如果配置的时候发现关联有问题,可以自己进行更改,如图14:

图片描述

第六步:使用定位过滤,得到导航列表的链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图15:

图片描述

③右击模板预览,查看链接抽取结果,如图16所示:

图片描述

④确认链接抽取是否正确,如图17:

图片描述

⑤使用标题过滤,得到“联系我们”的链接,如图18所示:

图片描述

第七步:新建模板4添加示例地址,并添加链接抽取
①新建模板4,将模板3过滤得到的“联系我们”链接,作为模板4的示例地址。如:http://tianjin0311065.11467.c...,如图19:

图片描述

②新建数据抽取。直接点击模板3,点击上面“新建数据抽取”按钮,得到数据抽取,如图20。

图片描述

③关联模板3的“新建链接抽取”。
根据网页跳转规律,将模板3的“新建链接抽取”关联模板4。如果配置的时候发现关联有问题,可以自己进行更改,如图21:

图片描述

第八步:创建/选择表单
在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是方法三。
方法一:通过下拉菜单或表单ID选择已有表单
方法二:点击创建表单进入快速建表页面,新建表单,如图22所示。

图片描述

方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图23:

图片描述

第九步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、联系人、电话、地址以及公司介绍五个字段。其中,公司介绍字段intro_text的取值在同一网站的不同页面,需要用到脚本取值,配置类型时需要选择高级取值>模板取值,表单如图24:

图片描述

第十步:字段取值
①关联表单,如图25所示:

图片描述

②取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
person、tel、addr字段,如图26:

图片描述

③intro_text字段需要进行模板取值。

第十一步:创建新的模板,添加示例地址
①表单intro_text字段来自公司介绍,如图27所示。

图片描述

图中红框部分为取值内容,如图28所示:

图片描述

②新建模板,添加“公司介绍”链接为示例地址,如:http://93358999.b2b.11467.com...(模板3右击模板预览,选择全部链接),如图29所示:

图片描述

③直接点击模板5,点击上面“新建数据抽取”按钮,得到数据抽取,如图30:

图片描述

第十二步:创建/选择表单
点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图31:

图片描述

第十三步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了“公司介绍”字段intro_text表单如图32:

图片描述

第十四步:关联表单,完成“公司介绍”字段抽取
①点击模板5,关联表单,如图33所示:

图片描述

②使用字段定位取值方法。
按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域,确认选区,如图34所示。

图片描述

③右击模板预览,如图35所示:

图片描述

④模板预览结果,如图36所示:

图片描述

第十五步:模板取值关联
①点击模板4,点击intro_text字段,在红框中填入“href=[5]”,并按住Ctrl+鼠标左键,进行区域选择,如图37所示。
“[ ]”中填写模板ID。

图片描述

②点击模板4,右击模板预览,如图38所示:

图片描述

③预览结果如图39所示:

图片描述

第十六步:采集预览
①点击右上角采集预览,如图40:

图片描述

②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图41、42、43所示。

图片描述

图片描述

图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_776552.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html自动适配手机,PC网站自动适配手机网页的方法技巧

自适应网页设计,对于未曾接触过此类设计的人来说,可能觉得是十分难的事情。但是,如果你熟悉html,那么自适应设计其实只不过是在原PC端的html代码上做一些改动而已,并非一门新的技术语言。自适应网页设计代码需要做哪些…

大型网站架构演进(9)服务化

随着业务越拆越小,而且各个应用又是独立部署和维护的,这样的架构存在以下问题: 1,数据库连接数的问题,如果各个应用都连接现有数据库,当使用集群和并发访问量大的情形下,就会导致数据库连接数超…

PHP | 别家网站都有的登录功能,你的网站也可以有!

如果说一个网站是一个独立的王国,那登录功能就相当于这个【王国】的大门。进出往来的人必须要通过这道【门】才能进出这个【王国】,这样才能有效的达到对人流量和用户的有效监管,也可以进一步了解每个用户的喜好,并合理定制个性化…

怎么样做好网站关键词的选择与部署?

要想把网站运营做好,首先做好网站优化是第一步,而网站优化的第一步就是要做好网站关键字的优选择、部署与优化。网站关键字就是网站每个页面所表达内容里面,最关键字的字眼(其实最合理的叫法应该是网站关键词)。 如何选…

[源码和文档分享]基于JSP的MVC框架实现的图书推荐系统展示平台网站

推荐系统是目前互联网中最常见的一种智能产品形式。由于网络中信息量的快速增长以及图书出版行业出版量的攀升,人们需要一种办法,来解决信息过载的问题。此外,用户访问网络是为了获取信息,但并不是所有的访问都有很强的目的性&…

史上最全数据集网站汇总

如果用一个句子总结学习数据科学的本质,那就是: 学习数据科学的最佳方法就是应用数据科学。 如果你是一个初学者,你每完成一个新项目后自身能力都会有极大的提高,如果你是一个有经验的数据科学专家,你已经知道这里所蕴…

python实现网站测速软件_Python爬取招聘网站数据,实现可视化交互大屏,让你一目了然...

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者:黄伟呢项目背景随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对…

Flask项目之手机端租房网站的实战开发(六)

说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 接着上一篇博客继续往下写 :https://blog.csdn.net/qq_41782425/article/details/85858348 目录 一丶补充 二丶短信验证码前端编写 三丶…

ASP.NET Core 2.0 使用支付宝PC网站支付

前言 最近在使用ASP.NET Core来进行开发,刚好有个接入支付宝支付的需求,百度了一下没找到相关的资料,看了官方的SDK以及Demo都还是.NET Framework的,所以就先根据官方SDK的源码,用.NET Standard 2.0 实现了支付宝服务端…

python 爬取图片、没有后缀名_初学Python-只需4步,爬取网站图片(附py文件)

很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来。尤其是做我们这一行,产品经理,电商行业。领导:弄一个买卖游戏周边商品的交易APP出来。我:行,那我们卖什么呀?领导&am…

python 实现爬取网站下所有URL

python3 实现爬取网站下所有URL获取首页元素信息:首页的URL链接获取:遍历第一次返回的结果:递归循环遍历:全部代码如下:小结:python3.6 requests && bs4 采用递归方法,最终爬取网站所有…

企业网站托管外包公司有哪几种形式?

所有的企业网络营销都离不开网站,网站是基础也是核心。试问一句如果企业没有网站维护人员,那么企业选择网站托管公司网站托管公司又包括哪些内容呢?1网站策划任何一个企业的网络营销工作都是从网站策划开始的,前期网站策划的好坏直接影响着后…

自动化测试 (一) 12306火车票网站自动登录工具

还记得2011年春运,12306火车票预订网站经常崩溃无法登录吗。 今天我们就开发一个12306网站自动登录软件。 帮助您轻松订票 通过前两篇博客Fiddler教程和HTTP协议详解,我们了解了Web的原理. Web的原理就是,浏览器发送一个Request给Web服务器…

如何做一个大数据seo人员

作为流量运营者或者SEO人员,对于所从事行业领域的认识往往建立在一种直觉之上,我们很难对一个行业有一个全面的了解,这个行业领域有多宽,流量聚焦在哪里,那些是用户最关心的问题? 有的时候很难准确的把握&a…

7年测试工程师经验,浅谈一下如何测试一个web网站?

最近有工作了一年多的朋友在问我,一个web页面到底怎么测试?我的第一感觉是震惊,天天做web测试,咋还不知道怎么测试呢?再仔细一想,可能是我们每天忙于测试而忽略测试导致的,毕竟当局者迷&#xf…

dz论坛Discuz_X3.4最新网站漏洞

近期我们sinesafe安全部门审计discuz最新版的时候发现配置文件写入导致代码执行的问题。cms安装的时候一般会分为几个步骤去进行,其中有对配置文件config进行写入的步骤,当写入的时候未严格限制传入的参数就存在代码执行问题。 源码信息:Disc…

软件测试:测试一个网站

一、软件测试的原则 1、软件测试应尽早执行,并贯穿于整个软件生命周期 2、软件测试应追溯需求 3、测试应由第三方来构造 4、穷举测试是不可能的,要遵循 Good-enough 原则 5、必须确定预期输出(或结果) 6、必须彻底检查每个测试结果 7、…

网站流量下降的6个原因

网站流量下降的6个原因 有时网络流量会发生变化。有时是最好的。有时候不是那么好。诊断流量变化的原因并不困难。以下是如何控制网络流量以帮助其保持增长。 1.移动范式影响流量 移动正在改变搜索习惯。越来越多的企业注意到搜索模式正在发生变化。这是因为我们正在寻找人们搜…

web网站常用功能测试点总结

一、输入框 1.字符型输入框: (1)字符型输入框:英文全角、英文半角、数字、空或者空格、特殊字符 “~!#¥%……&*?[]{}” 特别要注意单引号和&符号。禁止直接输入特殊字符时&#xff0c…

基于web网站项目的性能测试结果分析

一款对并发要求比较高的web项目,需要对其压力测试,模拟线上可能存在的问题 工具描述: 压力工具:Loadrunner 服务器监控:nmon 数据库:oracle web容器:Tomcat war 项目就好像是一个木桶&…