python访问网站添加请求头_python request.urlretrieve的使用 如何添加请求头

news/2024/5/14 4:33:18/文章来源:https://blog.csdn.net/weixin_39951018/article/details/114463024

python3 request.urlretrieve 添加请求头下载图片

import urllib.request

opener = urllib.request.build_opener()

opener.addheaders = [("User-agent", "Mozilla/5.0")]

urllib.request.install_opener(opener)

urllib.request.urlretrieve("type URL here", "path/file_name")

在urllib.request.urlretrieve()使用内部urllib.request.urlopen()(至少在Python 3)。因此,您可以使用相同的方式来影响的行为urlopen。

当urlopen(params)被调用时,它实际上首先查看特殊的全局变量urllib.request._opener,如果是,None则urlopen使用默认的打开程序集来设置该变量,否则它将保留它。在下一步中,它将调用urllib.request._opener.open()(在下一部分中,我urllib.request._opener仅称为opener)。

在opener.open()包含处理程序不同协议的列表。当opener.open()被称为那么它会做的动作:

从URL urllib.request.Request对象创建(或者,如果您直接提供,Request它将使用它)。

从Request对象中提取协议(从URL方案推导得出)。

根据协议,它将尝试查找并使用以下方法:

protocol_request(例如http_request)-它用于在打开连接之前对请求进行预处理。

protocol_open -实际上与远程服务器建立连接

protocol_response -处理来自服务器的响应

有关其他方法,请参阅Python的文档

对于您自己的opener,您必须执行以下三个步骤:

创建自己的处理程序

处理程序的生成列表包含您的自定义处理程序(函数urllib.request.build_opener)

将新的opener安装到urllib.request._opener(功能urllib.request.install_opener)中

对于您自己的开场白,您必须执行以下3个步骤:

这个urllib.request.build_opener创建包含自定义处理程序的打开程序,并添加默认的打开程序,但自定义处理程序继承的处理程序除外。

b0c362a14e62cc3f1ef84d0ee17e9773.png

本博客源码Github地址:

请随手给个star,谢谢!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_769785.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

wordpress站点 HTML,如何将WordPress生成HTML静态化网站

对于将wordpress生成HTML静态化网站,很多人会使用cos-html-cache的插件实现。这个插件非常简洁小巧,直接在原网站上生成首页和文章页的html文件,不过,这个插件只支持文章静态化,不支持页面、标签和分类的静态化&#x…

网站每天1万ip需要多大服务器,每天10000ip需要什么配置的服务器

每天10000ip需要什么配置的服务器 内容精选换一换Agent服务证书,即鲲鹏性能分析工具的服务端和Agent端之间通讯的证书。已成功登录系统性能分析。管理员用户(tunadmin)可以执行生成证书、更换证书和更换工作密钥的操作,普通用户只能查看Agent服务证书信息…

微服务电商qps_亿级流量电商网站微服务架构

亿级流量电商网站微服务架构缓存设计缓存穿透缓存穿透是指查询一个根本不存在的数据, 缓存层和存储层都不会命中,通常出于容错的考虑, 如果从存储层查不到数据则不写入缓存层。缓存穿透将导致不存在的数据每次请求都要到存储层去查询&#xf…

java初级项目 小说_webmagic项目实战(爬小说网站)

正常发货正版包邮java从入门到软件68.9元包邮(需用券)去购买 >项目背景小说网站优书网(http://yousuu.com/bookstore/)提供的小说查询功能不是很强大,很多高级查询功能都没有,比如想要查询出评分在8.0以上并且标签包含‘仙侠’、字数超过100万字的小说…

网站服务器空间域名绑定,服务器空间怎么绑定域名

服务器空间怎么绑定域名 内容精选换一换一个网卡只能绑定一个EIP。您需要多个EIP时,可以将EIP绑定到扩展网卡,但扩展网卡绑定EIP以后,需要在裸金属服务器内根据实际网络情况做相应的操作,例如:增加策略路由或者命名空间…

数万网站仍在使用有已知漏洞的老旧 JavaScript 库

美国东北大学研究人员在对超过 133000 个网站分析时发现,有超过 37% 的站点仍在使用至少包含一个已知公开漏洞的 JavaScript 库。研究人员早在 2014年进行研究时就曾提醒,应当注意由于在浏览器中加载老旧版本的 JavaScript 库(如 jQuery、Ang…

Firefox 55不会将用户位置提供给非https网站

在2017年8月,Mozilla将发布Firefox 55。一个值得注意的变化是那些不安全的网站将无法获取用户的地理位置数据,这些信息将只发送到HTTPS和加密的WebSocket连接,这一举动是浏览器制造商推动网站采用更安全协议的另一个步骤。 根据Mozilla在五个…

资深程序员总结了9个java学习需要收藏的网站!

第一个:JavaSED这是1个很大的资源类型的网站,涉及了很多Java代码案例。这个网站也可以查看很多Java API类源代码,值得收藏!第二个:Code Project这篇文章分享之前我还是要推荐下我自己的JAVA群:452180294 &a…

seo说_百度指数看世间沉浮_如何快速排名-互点快速排名_揭秘!如何快速提高网站权重...

一看标题相信可能很多人就会说标题档、忽悠人的,因为网站优化没有捷径。的确,小麦也说过做推广优化没有快速的方法,想要排名就得脚踏实地。不过最近小麦公司不少客户都会问到我们能快速提高网站权重么,小麦今天来给大家好好解释下…

一个完整网站的代码_网站无法访问的链接要怎样处理才符合SEO优化规章

如何编写一个完整的SEO解决方案?首先,我们需要知道SEO解决方案对于优化的速度影响非常重要,如果网站是用优秀的SEO解决方案建立的,之后,按照这个方案一步一步地实行,必要时加以修正,通常会在预料之内达到效果,远远超出…

SEO实战干货:利用老域名打造新站快速收录排名!

当SEO变成人云亦云的时候,那么你对SEO永远只会趋之若鹜。在卢松松平台投稿过数篇关于SEO的文章,不少朋友都说写的都是软文,关于这个话题我只想说一句,因为你没有做过,所以你认为是软文,如果每一篇文章都能够…

阿里云域名+老薛主机 搭建个人博客网站 小结

本人将之前写在自己网站的搭建网站过程的文章,搬过来了,要问为啥,因为精力有限,没有时间在自己的网站上折腾^...^ 虽然之前截的图片不能看了,但是不影响你照着本人的博客,自己独立搭建网站。 【声明】 欢迎…

网站复制图片保存自己服务器,WordPress将复制别的网站的文章里的图片自动保存到自己的服务器...

WordPress将复制别的网站的文章里的图片自动保存到自己的服务器王超 2020-10-29 插件使用 1,509 次我们都知道一个网站上的内容尽量的去做原创,这样对SEO优化是有好处的,但是有时我们没有太多精力原创或者由于其他原因,需要从其他的网站上复制…

途牛网站的用的什么服务器,途牛网某服务器配置不当致泄露数G源码和数G数据...

途牛网因某处配置不当,存在未授权访问,导致泄露数十G代码和数十G数据库泄露。声明:下载这些内容只是为了验证漏洞,以及看是否有更加高危的漏洞。无奈,量太大,没有精力在继续深入下去。在提交漏洞完成后&…

网站和数据库放在两个服务器,网站和数据库放在两个服务器

网站和数据库放在两个服务器 内容精选换一换PHPWind(简称:PW)是一个基于PHP和MySQL的开源社区程序,是国内较受欢迎的论坛之一。轻架构,高效易开发,使用户可快速搭建并轻松管理。本文档指导用户使用华为云市场镜像“PHPWind 论坛社…

【收藏】这么多WEB组件(CSS),攒一个网站够了吧?

1 表单(form)相关 1.1 输入框(input) 一个简单的输入框样式,简捷又不夸张。需要约30行的CSS代码。 演示程序 1.2 单选多选框(checkbox,radio) 浏览器内置的checkbox及radio样式效果太差,本例展示了一个简单大方的单选多选框样式。需要约25行的CSS代码&am…

搭建个人网站--域名解析(DNS)

一、DNS(域名系统)的定义 Domain NameSystem,简称DNS,因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通过主机名&#xff…

搭建个人网站--搭建网站

一、环境搭建&#xff08;windows10&#xff09; 1、node.js的介绍与安装 &#xff08;1&#xff09;介绍&#xff1a;Nodejs &#xff08;2&#xff09;安装&#xff1a;node.js安装教程 2、Git 的介绍与安装 &#xff08;1&#xff09;GitHub 使用教程 <精华帖> …

通过域名访问网站的原理过程

一、域名解析图二、常识 1、IP地址是直接能访问网站的&#xff0c;之所以用域名访问原因如下&#xff1a; &#xff08;1&#xff09;但是IP地址不好记&#xff1b; &#xff08;2&#xff09;IP地址是一堆数字对用户不友好&#xff1b; &#xff08;3&#xff09;正常情况下对…

程序员应该访问的最佳网站中文版

程序员应该访问的最佳网站中文版原版 原文链接 :https://github.com/tuteng/Best-websites-a-programmer-should-visit-zh/blob/master/README.md 一些对程序员有用的网站 在学习CS的时候有一些你必须知道的有用的站点来获取通知为了你的技术储备和学习新知识。这里是一个你…