python 破解网站反爬虫的两种简单方法

news/2024/5/20 22:20:38/文章来源:https://blog.csdn.net/qq_41564422/article/details/104212511

最近在学爬虫时发现许多网站都有自己的反爬虫机制,这让我们没法直接对想要的数据进行爬取,于是了解这种反爬虫机制就会帮助我们找到解决方法。
常见的反爬虫机制有判别身份IP限制两种,下面我们将一一来进行介绍。

目录

  • (一) 判别身份
  • (二) IP限制

(一) 判别身份

首先我们看一个例子,看看到底什么时反爬虫。
我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。`

import requests# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url)
# 打印获取的文本
print(res.text)

这是段简单的请求与网站连接并打印获取数据的代码,我们来看看它的运行结果。
在这里插入图片描述
我们可以发现我们什么数据都没有获取到,这就是由于这个网站有它的身份识别功能,把我们识别为了爬虫,拒绝为我们提供数据。不管是浏览器还是爬虫访问网站时都会带上一些信息用于身份识别。而这些信息都被存储在一个叫请求头(request headers) 的地方。而这个请求头中我们只需要了解其中的一个叫user-agent(用户代理) 的就可以了。user-agent里包含了操作系统、浏览器类型、版本等信息,通过修改它我们就能成功地伪装成浏览器。
下面我们来看怎么找这个user-agent吧。

首先得打开浏览器,随便打开一个网站,再打开开发者工具
再点击network标签,接着点第一个请求,再找到Request Headers,最后找到user-agent字段。(有时候可能点击network标签后是空白得,这时候刷新下网页就好啦!)
在这里插入图片描述
找到请求头后,我们只需要把他放进一个字典里就好啦,具体操作见下面代码。

import requests# 复制刚才获取得请求头
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url, headers=headers)
# 打印获取的文本
print(res.text)

现在我们再来看部分输出结果。
在这里插入图片描述
我们可以发现已经将该网站的HTML文件全部爬取到了,至此第一种方法就将完成了。下面我们来看第二种方法。

(二) IP限制

IP(Internet Protocol) 全称互联网协议地址,意思是分配给用户上网使用的网际协议的设备的数字标签。它就像我们身份证号一样,只要知道你的身份证号就能查出你是哪个人。
当我们爬取大量数据时,如果我们不加以节制地访问目标网站,会使网站超负荷运转,一些个人小网站没什么反爬虫措施可能因此瘫痪。而大网站一般会限制你的访问频率,因为正常人是不会在 1s 内访问几十次甚至上百次网站的。所以,如果你访问过于频繁,即使改了 user-agent 伪装成浏览器了,也还是会被识别为爬虫,并限制你的 IP 访问该网站。
因此,我们常常使用 time.sleep() 来降低访问的频率,比如上一篇博客中的爬取整个网站的代码,我们每爬取一个网页就暂停一秒。

import requests
import time
from bs4 import BeautifulSoup# 将获取豆瓣电影数据的代码封装成函数
def get_douban_movie(url):# 设置反爬虫的请求头headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}# 请求网站的连接res = requests.get('https://movie.douban.com/top250', headers=headers)# 将网站数据存到BeautifulSoup对象中soup = BeautifulSoup(res.text,'html.parser')# 爬取网站中所有标签为'div',并且class='pl2'的数据存到Tag对象中items = soup.find_all('div', class_='hd')for i in items:# 再筛选出所有标签为a的数据tag = i.find('a')# 只读取第一个class='title'作为电影名name = tag.find(class_='title').text# 爬取书名对应的网址link = tag['href']print(name,link)url = 'https://movie.douban.com/top250?start={}&filter='
# 将所有网址信息存到列表中
urls = [url.format(num*25) for num in range(10)]
for item in urls:get_douban_movie(item)# 暂停 1 秒防止访问太快被封time.sleep(1)

部分运行结果:
在这里插入图片描述
至此两种比较简单的应对反爬虫方法就讲完啦,希望能对大家有所帮助,如果有问题,请及时给予我指正,感激不尽!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_905316.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python爬虫——通过API爬取动态网站的数据

加粗样式在我前面的博客中,通过利用python的requests库和BeautifulSoup库对静态网站进行爬取,但如果遇到动态网站怎么办呢?接下来我们试着通过API来对动态网站进行爬取想要的数据。 目录 (一) 动态网站和静态网站的区别与robots.txt(二) 爬取…

Android 自动抓取网站图标实现分享样式的定制

分享是一个app产生用户数据的重要来源,也是app宣传拉新的重要途径,所以对于稍微成熟一点的app分享是必不可少的模块。相信稍微接触过分享的人都清楚,分享到外部app很简单,只要接入微信、微博、QQ等提供好的sdk并按照规定好的参数正…

程序员命名必备网站|变量命名

程序员命名必备网站 话不多说,之间上网址 https://unbug.github.io/codelf/点击访问 方便又快捷啊兄弟们

浅谈web网站架构演变过程

前言 我们以 javaweb为例,来搭建一个简单的电商系统,看看这个系统可以如何一步步演变。 该系统具备的功能: 用户模块:用户注册和管理商品模块:商品展示和管理交易模块:创建交易和管理 阶段一、单机构建网站…

网站行为日志信息统计分析

网站行为日志信息统计分析 一、开发环境二、项目思路三、系统实现(一)、原始数据上传hdfs(二)、数据清洗(第一遍)(三)、数据清洗(第二遍)(三)、通过hive对数据分析 四、总结五、完整代码:(一)、pom.xml文件(二)、初始数…

Bliface借区块链定义视频网站3.0

超级解霸 能看懂这个词的多数都已当爹了,那是一个没有还没有在线播放的年代,光盘解码器是电脑的标配,后来逐渐有人在BBS上享视频给大家下载,我们暂且定为第一代 土豆 2005年4月15日土豆网正式上线,在线视频网站如雨后…

IE10 如何保护您的电脑免于恶意网站危害

NSS 实验室不久前发表了一份关于浏览器拦截恶意程序的 评估报告 (英文) 。在这个报告中可以看出最安全的浏览器是 Internet Explorer 10 。 IE10 可以拦截 99.1% 的已知恶意程序。日常生活中在网络上进行的社交活动、购物、工作等皆有可能会将您的个人信息透露给其他人。Micro…

2017年9月3日 实现网站的权限管理

现在各个企业管理网站对登录的账号都要进行权限管理,并且相当重要,每个账号登录进去所能看到的东西大不相同,下面是实现该功能的一个的一种方法。 需求: 权限:权限是使用者操作系统中功能模块的能力,如“角…

我的个人网站又恢复了,欢迎登陆

我的个人网站的网址是http://www.myjavaserver.com/~maqujun . 前一段日子停掉了付费的Hosting的个人站点。自己还伤心了好一整子呢。在Javaeye的Blog里还郑重其事的写了一篇哀悼我那个人网站的悼文。可今天又恢复了!可见多变不仅仅是女人的特权,呵呵。其…

网站SEO关键词排名优化经验分享-建站后的推广细节

首先搜索引擎后台会有蜘蛛爬虫技术,根据网站的关百键词密度,内容更新时间上,网站的打开速度,页面跳出率度等因素来进行综合排序。 一般网站做好后,想获取好的收录,可以向搜索引擎提交收录申请,这…

对于网站优化该怎么去做外链?

外链是建网站做优化的重要工作之一,做外链质量的高低直接影响着最终的网站关键词排名,也影响流量和权重。 做外链其实说起来也不是很难,做SEO的基本都知道去哪里做这些网站的外链,但是难就在于这些网站的一个规则和你文章的质量上…

企业网站百度排名第一需要多少外链

网站排名百度第一,到底需要多少外链呢?这是做SEO的同学最大的疑问,这个问题比较宽泛,网站的行业不同,外链的需求也不一样。那么我们要如何审视这个问题呢? 外链计划的制定有以下几个步骤: 一、…

天津网站建设-文率科技天津众多网站建设中的楷模

天津网站建设-文率科技是天津企业建站的首选公司,我们能够为您提供全方位一站式的解决方案,利用我们专业的建站技术,优秀的设计水平,采用目前最先进的送搜索引擎,技术娴熟的人工seo优化,让您的网站拥有高的…

网站为什么要做外链?

SEO工作人员都知道,外链是SEO工作中不可缺少的部分。那么外链是如何对网站的排名起到作用的呢?又为什么如此重要呢? 什么是外链? 从字面意思来看,外链可以拆解成“外部链接”,是指从别的网站链接向自己网站…

网站架构之缓存应用(1)概念篇

网站缓存这个话题并不新颖,但是能否将它用好,可是一门学问,同一件工具在不同人的手中会做出不同的事情来。这里我来分享总结下我对于网站架构中缓存应用的一些看法和经验,大家有好的想法可以补充。 第一:缓存的…

Tomcat5.5.x配置整理 - 发布webapp到网站根目录

1。直接复制到ROOT目录下。 2.因为无法创建无名字的xml文件&#xff0c;并且在xml文件里指定path也是无效的(tomcat靠文件名字来判断的)&#xff0c; 因此必须在server.xml里写下面一段&#xff1a; 查看 复制到剪切板 打印 Xml代码 <ContextdocBase"${catalina.home}/…

仿商业网站——商品评分效果的实现

个人觉得效果还是不错的。废话不多说&#xff0c;先看看HTML的布局&#xff1a; rel"stylesheet" type"text/css" href"gradeStyle.css"/><script src"jquery-1.11.1.js"></script><script src"gradeFunction.…

仿商业网站——商品评分效果实现【提高篇】

看过之前的那一篇仿商业网站——商品评分效果的实现,就可能发现之前的那种实现方式还差一点点效果:就是当鼠标移动到每个星星上的时候,星星最好有动态的变化,如下图: 鼠标移动到星星上面后,星星的状态: 这里用到一点点CSS sprite的技术,

Yahoo——网站性能优化35条黄金守则

Yahoo!的 Exceptional Performance团队为改善 Web性能带来最佳实践。他们为此进行了一系列的实验、开发了各种工具、写了大量的文章和博客并在各种会议上参与探讨。最佳实践的核心就是旨在提高网站性能。 Excetional Performance 团队总结出了一系列可以提高网站速度的方法。可…

IIS 7 Web服务器上部署ASP.NET网站

开发环境Visual Studio 2010/2008皆可&#xff0c;数据库SQL Server 2008/2005。接下来就以这样的环境部署我们的网站&#xff0c;按下图来配置&#xff1a; 第一步&#xff0c;别偷懒&#xff0c;先看看角色添加了没&#xff0c;没有就点击右上边“添加角色”连接添加吧。 第二…