快乐学Python,如何使用爬虫从网页中提取感兴趣的内容?

news/2024/2/24 6:19:04/文章来源:https://blog.csdn.net/u010223407/article/details/135604774

前面的内容,我们了解了使用urllib3和selenium来下载网页,但下载下来的是整个网页的内容,那我们又怎么从下载下来的网页中提取我们自己感兴趣的内容呢?这里就需要Python的另一个库来实现-BeautifulSoup。

BeautifulSoup 是一个 Python 库,用于分析 HTML。它和它的名字一样,用起来非常“香”。今天我们通过使用 BeautifulSoup 去从上一篇文章案例中下载到的 html 文件:jiandan.html 中提取所有新闻的标题。

打开 VS Code,并创建ipynb文件,将之前下载的jandan.html文件复制到源文件共同的文件夹内。

接下来我们将在这个 notebook 中对 jiandan.html 进行内容提取。

1、安装BeautifulSoup

这里安装的步骤和之前安装selenium的步骤一样。
我们去开始菜单 → Anaconda ,选择 Anaconda Prompt,出现命令行界面。在命令行界面,输入如下安装命令:(BeautifulSoup 的 Python 包名为 bs4, 简写)

conda install bs4

回车执行,之后在询问会否确认时输入 y 回车,等待安装完毕,关闭即可。

(1)读取html文件到Python

数据提取的第一步,我们首先需要将 html 文件加载到 Python 的变量中。在上一篇文章中,我们了解了通过文件对象来把 Python 变量写进文件里,这里我们来尝试用类似的代码来将文件中的内容读出来。

代码如下,可以看到和写入文件的代码非常类似。

# 打开 jiandan.html,第二个参数 r,代表 read# open 函数返回一个文件对象,保存在变量 fo 中fo = open("jiandan.html","r",encoding="utf-8")# 调用文件对象的 read 函数,该函数将文件的内容读取到 Python 中# read 函数的返回值就会文件内容,我们保存在 html_content 中html_content = fo.read()# 关闭文件对象fo.close()# 打印 html_content 变量,看内容是否被正确加载print(html_content)

执行之后,输出结果如下所示(打印的 html 文本太长,这里仅截图示意)。

(2)创建BeautifulSoup对象

现在,我们已经将文件的内容读了出来,但是目前还是以一个超大的字符串的形式存储在变量中。想要对其进行有效的分析,第一步我们先要构造一个 BeautifulSoup 的对象。代码如下:

# 从 bs4 模块中导入 BeautifulSoup 类from bs4 import BeautifulSoup# 创建一个 BeautifulSoup 的对象,并将刚才我们存储网页内容的变量作为参数doc = BeautifulSoup(html_content)# 打印 doc 对象的 title 属性。print(doc.title)

执行上述代码之后,BeautifulSoup 对象就被创建并存在变量 doc 中,为了测试是否创建成功,我们打印了 doc 对象的 title 属性,输出如下。

<title>煎蛋 - 地球上没有新鲜事</title>

(3)BeautifulSoup 对象的基本使用

刚刚我们打印了 doc 对象的 title 属性,来测试对象是否创建成功。从打印的内容来看,想必你已经猜到了,doc 对象的 title 属性,就对应了网页的 title 标签。但是刚才我们打印的内容中,title 标签也被打印出来了。

那是否可以只取标签里面的内容呢?

①get_text方法

在 BeautifulSoup 中,我们可以通过标签对象的 get_text 方法来获得标签中的内容。

# 将 title 属性保存在 title_label 的变量中title_label = doc.title# 调用 get_text 方法,并把返回值打印出来print(title_label.get_text())

输出如下:

煎蛋 - 地球上没有新鲜事

可以看到,这次我们成功将标签内的文字提取了出来。

②find_all方法

BeautifulSoup 对象另一个常用方法是 find_all, 用来在 html 文档中查到特定标签名以及特定属性值的标签,下面来举例说明。

比如,在网页上有这么个结构


目前我们的 doc 对象已经包含了这些内容。现在我们来尝试提取 class 等于 logo 的这个 div 标签,代码如下。

# find_all 是 BeautifulSoup 对象的常用方法,用于查找特定的标签# 接受三个参数,第一个是要查找的标签名,第二个则是要匹配的属性名# 比如这里,我们查找的是 class=logo 标签,则直接按如下写法即可。# 因为 class 是 Python 的关键字,所以这里需要使用 class_ 以示区分# 最终,find_all 函数返回所有满足条件的标签列表logo_label = doc.find_all("div", class_="logo")print(logo_label)

输出结果为:

[<div class="logo"><h1><a href="/" onclick="ga('send', 'pageview','/header/logo');">煎蛋</a></h1></div>]

可以看到,我们截图中的内容,箭头所指的 div 标签被成功的过滤了出来。

③获取标签对象的属性

通过标签对象的 attrs 属性,我们可以获取标签对象的属性的值,attrs 是一个字典,获取属性的值的方法如下:

# 取 logo_label 列表的第一个标签对象label = logo_label[0]# 打印这个对象的 class 属性print(label.attrs["class"])

输出:

['logo']

2、过滤出网页的新闻列表

现在,我们来使用之前的 doc 对象来过滤出新闻的标题列表。

(1)观察html,提取初步的新闻标签列表

在使用 BeautifulSoup 进行内容过滤的第一步,首先要查看我们想要的内容所在的标签。我们在 VS Code 中打开 jiandan.html,搜索“普通感冒”到达新闻标题内容区域,如下图所示。


通过观察截图中的标签内容,很容易发现似乎每个新闻标题,都有一个对应的 div 标签,并且它的 class 是 indexs。沿着这个思路,我们可以先考虑使用 find_all 将其过滤出来。通过如下代码。

# 查找 class 为 indexs 的所有 div 标签,存储在 index_labels 中index_labels = doc.find_all("div", class_="indexs")# 打印符合条件的 div 标签的数量print(len(index_labels))

输出:

24

说明找到了 24 个符合条件的 div 标签。一个网页的新闻也是 20 多条,说明有希望。

(2)提取单个标签的新闻标题

因为 index_labels 是一个标签对象的列表,距离我们要过滤的新闻标题还有距离。下一步,我们就来分析如何从这些标签对象中抽取新闻标题。
首先,我们先取第一个来看一下。

first_object = index_labels[0]print(first_object)

输出如下:

<div class="indexs"><span class="comment-link" title="1小时 ago">8</span><h2><a href="http://jandan.net/p/108693" target="_blank">引发普通感冒的鼻病毒会将新冠病毒排挤出细胞!</a></h2><div class="time_s"><a href="http://jandan.net/p/author/majer">majer</a> · <strong><a href="http://jandan.net/p/tag/%e6%96%b0%e5%86%a0%e7%97%85%e6%af%92" rel="tag">新冠病毒</a></strong></div>换而言之,如果你感冒了,在那段期间就不会被新冠病毒感染 </div>

现在我们的问题就转化为,如何从上述 html 中抽取出新闻的标题。

通过查看上述内容可以发现,我们的标题在第三行,在一个 a 标签内部。那是不是我们只需要过滤出这个 a 标签,再使用 get_text 拿到里面的内容就好了?

那要怎么过滤出第三行的 a 标签呢?可以看到这个 a 标签里有 target=“_blank” 这样一个属性,我们就可以使用 find_all 将其过滤出来了。

# 从刚才的 first_object 标签对象中过滤出所有 target=_blank 的 a 标签a_labels = first_object.find_all("a",target="_blank")# 取第一个标签对象my_label = a_labels[0]# 打印该标签对象内的文字内容print(my_label.get_text())

输出如下:

引发普通感冒的鼻病毒会将新冠病毒排挤出细胞!

你看,新闻的标题被成功抽取了出来!

(3)提取新闻标题的列表

目前,我们已经实现了从第一个标签对象中提取新闻标题,但我们的列表中有 24 个标签对象。要怎么做呢?聪明的你应该想到了,我们只需要把“从标签对象抽取标题”这段逻辑写成一个函数,然后通过一个循环对列表的每个标签对象都调用这个函数即可。

# 从第一次 find_all 获取的标签对象中抽取标题def get_title(label_object):# 从刚才的参数传入的标签对象中过滤出所有 target=_blank 的 a 标签a_labels = label_object.find_all("a",target="_blank")# 取第一个标签对象my_label = a_labels[0]# 将标签的文字内容作为返回值返回return my_label.get_text()# 用循环针对每个 index_labels 列表中的标签对象# 都将其作为参数传入 get_title 函数# 并打印返回值for i in range(0,len(index_labels)):title = get_title(index_labels[i])print(title)

执行后输出:

引发普通感冒的鼻病毒会将新冠病毒排挤出细胞!无厘头研究:植入虚假的记忆再抹去它们什么是仇恨犯罪?突发:LHCb发现了违背标准模型的现象今日带货 20210324舌战裸猿:IBM搞出了可以打辩论赛的AI大吐槽:「我没醉,醉的是世界」今年世界总发电量的0.6%被用于挖比特币接种疫苗后还是感染新冠?不要为此惊讶今日带货:蛋友家的血橙科学家首次在野外检测到抗多药的超级真菌未在iPhone12盒中搭配充电器,苹果被巴西消协罚200万美元工程师将解决城市陷坑的问题今日带货:粉面专场科学家在碟子里培育出了泪腺,并让它哭泣疯狂实验进行时:把志愿者禁闭在黑暗的空间里40天今日带货 20210321我们已向外星人发送了哪些消息?脑力小体操:石头+剪刀 VS 石头+布发霉啦:今天,我终于向母亲摊牌了普渡大学的经济学家计算出世界各地幸福的价格人类首次观察到木星上极光黎明风暴的成形过程为女儿出头,母亲编辑假裸照败坏高中啦啦队队员的名誉今日带货:淘宝京东蛋友推荐

可以看到,jiandan.html 中的所有新闻标题被我们成功过滤了出来,现在是不是感受到了 BeautifulSoup 的神奇之处了呢。

至此,我们就完成了使用 BeautifulSoup 对网页进行内容的提取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_926179.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据仓库(2)-认识数仓

1、数据仓库是什么 数据仓库 &#xff0c;由数据仓库之父比尔恩门&#xff08;Bill Inmon&#xff09;于1990年提出&#xff0c;主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料&#xff0c;透过数据仓库理论所特有的资料储存架构&#xff0c;做…

可以在微信群里使用midjourney,gpt4,gemini,文心一言4.0,且免费

免费使用gpt4和midjourney 免费使用 参考链接&#xff1a; https://chat.xutongbao.top/

【银行测试】银行项目,信用卡业务测试+常问面试(三)

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 银行测试-信用卡业…

轻松识别Midjourney等AI生成图片,开源GenImage

AIGC时代&#xff0c;人人都可以使用Midjourney、Stable Diffusion等AI产品生成高质量图片&#xff0c;其逼真程度肉眼难以区分真假。这种虚假照片有时会对社会产生不良影响&#xff0c;例如&#xff0c;生成公众人物不雅图片用于散播谣言&#xff1b;合成虚假图片用于金融欺诈…

Angular系列教程之DOM操作

文章目录 引言1. ElementRef2. Renderer23. ViewChild结论 引言 在Angular中&#xff0c;DOM操作是开发Web应用程序的一个重要方面。通过对DOM进行操作&#xff0c;我们可以动态地修改页面内容、样式和元素行为。本文将详细介绍如何在Angular中进行DOM操作&#xff0c;并提供相…

从数据可视化到场景渲染:山海鲸的创新与实践

作为山海鲸的开发者&#xff0c;我们深知可视化模型场景渲染在数据分析和决策支持中的重要作用。因此在保证山海鲸可视化软件免费编辑、分享、部署的同时也在场景渲染方面不断优化&#xff0c;本文将介绍山海鲸在可视化模型场景渲染方面的技术革新与实践探索。 首先&#xff0…

【STM32】STM32学习笔记-USART串口数据包(28)

00. 目录 文章目录 00. 目录01. 串口简介02. HEX数据包03. 文本数据包04. HEX数据包接收05. 文本数据包接收06. 预留07. 附录 01. 串口简介 串口通讯(Serial Communication)是一种设备间非常常用的串行通讯方式&#xff0c;因为它简单便捷&#xff0c;因此大部分电子设备都支持…

Go并发快速入门:Goroutine

Go并发&#xff1a;Goroutine 1.并发基础概念&#xff1a;进程、线程、协程 (1) 进程 可以比作食材加工的一系列动作 进程就是程序在操作系统中的一次执行过程&#xff0c;是由系统进行资源分配和调度的基本单位&#xff0c;进程是一个动态概念&#xff0c;是程序在执行过程…

unity面试题

一&#xff1a;什么是协同程序&#xff1f; 在主线程运行的同时开启另一段逻辑处理&#xff0c;来协助当前程序的执行&#xff0c;协程很像多线程&#xff0c;但是不是多线程&#xff0c;Unity的协程实在每帧结束之后去检测yield的条件是否满足。 二&#xff1a;Unity3d中的碰…

汽车线束的汽配企业MES管理系统解决方案

随着科技的飞速发展和环保需求的日益提升&#xff0c;新能源汽车在全球范围内崭露头角&#xff0c;成为未来出行的主导力量。在这股浪潮中&#xff0c;中国凭借其强大的研发实力和市场敏锐度&#xff0c;迅速崛起为新能源汽车领域的佼佼者。而作为汽车数字化控制与智能化应用的…

Excel地址

解题思路&#xff1a; 根据题中歪歪和笨笨的话可以有两种解法。 1.输入的数为多大&#xff0c;则循环1多少次&#xff0c;当值为27时就要进行进位操作。这时要分情况讨论。 当集合中元素为一个时&#xff0c;如26&#xff0c;则需要变为1 1&#xff0c;集合元素个数加一。 当…

Maven 依赖传递和冲突、继承和聚合

一、依赖传递和冲突 1.1 Maven 依赖传递特性 1.1.1 概念 假如有三个 Maven 项目 A、B 和 C&#xff0c;其中项目 A 依赖 B&#xff0c;项目 B 依赖 C。那么我们可以说 A 依赖 C。也就是说&#xff0c;依赖的关系为&#xff1a;A—>B—>C&#xff0c; 那么我们执行项目 …

IC验证——perl脚本ccode_standard——c代码寄存器配置标准化

目录 1 脚本名称 2 脚本路径 3 脚本参数说明 4 脚本操作说明 5 脚本代码 1 脚本名称 ccode_standard 2 脚本路径 /scripts/bin/ccode_standard 3 脚本参数说明 次序 参数名 说明 1 address (./rfdig&#xff1b;.&#xff1b;..&#xff1b;./boot) 指定脚本执行路…

ES高级查询

ES中提供了一种强大的检索数据方式&#xff0c;这种检索方式称为Query DSL&#xff0c;这种方式的丰富查询语法让ES检索变得更强大&#xff0c;更简洁。 1.常见查询 1.1查询所有[match_all] match_all关键字&#xff1a;返回索引中的全部文档。 GET /products/_search { &…

Redis-redis.conf配置文件中的RDB与AOF持久化方式的详解与区别

RDB&#xff08;Redis Database&#xff09; RDB是Redis的默认持久化方式&#xff0c;它将内存中的数据以二进制格式写入磁盘&#xff0c;形成一个快照。RDB持久化有以下几个重要的配置选项&#xff1a; save&#xff1a;指定了保存RDB的策略&#xff0c;默认的配置是每900秒&…

域名群站开源系统分享开源域名授权系统

一、需要自己安装PHP和MYSQL服务器环境。 二、务必设置伪静态规则&#xff0c;否则将无法访问文章栏目页面。 三、启用伪静态功能&#xff0c;请在站点设置中选择使用thinkphp的伪静态规则。 四、在域名的根目录下找到”data/config.php”文件&#xff0c;填入数据库的账号和…

使用WAF防御网络上的隐蔽威胁之CSRF攻击

在网络安全领域&#xff0c;除了常见的XSS&#xff08;跨站脚本&#xff09;攻击外&#xff0c;CSRF&#xff08;跨站请求伪造&#xff09;攻击也是一种常见且危险的威胁。这种攻击利用用户已经验证的身份在没有用户知情的情况下&#xff0c;执行非授权的操作。了解CSRF攻击的机…

无需主网结算来进行 BTC 交易?Tectum 提出了新的解决方案

撰文&#xff1a;Tom&#xff0c;CryptoBooster 下载TechubNews APP&#xff0c;探索Web3的无限可能&#xff01;掌握最新动态&#xff0c;发现更多相关资讯&#xff0c;与行业领袖共同探索未来趋势。立即下载&#xff0c;开启您的Web3之旅&#xff01; 区块链发展至今&#x…

解决防爬虫机制方法(二)

最近为了完成学校的大数据的作业&#xff0c;老师要我们爬一个的网站&#xff0c;里面有还算不错的防爬机制&#xff0c;忙活了几天&#xff0c;总结出一些常见的防爬机制的应对方法&#xff0c;方法均来自个人实战总结&#xff0c;非专业爬虫角度分析 承接上一次讲的方法解决…

MybatisPlus-删除

目录 1.数据库建表 2.项目 ---就是更新del_flag字段为2 (1)pom.xml (2)Application (3)applicatiom.yml (4)entity (5)mapper (6)service (7)service目录下的impl目录 (8)common (9)enums (10)config (11)controller postman测试 3.彻底删除数据库记录 (11&…