request+BeautifulSoup爬取网站内容

news/2024/5/8 15:16:43/文章来源:https://blog.csdn.net/u010244522/article/details/103108321

目标网站:http://699pic.com/sousuo-218808-13-1-0-0-0.html

如图,目标图片对于tag名为''img'',class=''lazy''

查找时使用  find_all('img',class_='lazy')

 

# conding :utf-8from bs4 import BeautifulSoup
import requestsurl ='http://699pic.com/sousuo-218808-13-1.html'
r1 = requests.get(url,verify=True)soup =BeautifulSoup(r1.content.decode('utf-8'),'html.parser')    #解析soup对像tags =soup.find_all('img',class_='lazy')    #查找所以符合条件的标签
for i in tags:iurl=i['data-original']     #获取图片对应的原地址titel=i['title']            #获取图片对应的名称tup=requests.get(iurl).content    #获取图片对应的二进制流fp=open(titel+'.jpg','wb')      #打开文件fp.write(tup)           #将图片二进制流写入文件fp.close()              #关闭文件

----------------------------------------------------------------------------------------

 

t=tags[0]
print(t)
print(t.name)       # 获取tag名称
print(t.string)     # str
print(t['class'])   # class返回的是list
print(t.attrs)  # 返回的字典,获取所有的属性

官方文档:http://beautifulsoup.readthedocs.io/zh_CN/latest/

 

所有对象可以归纳为4:

Tag :   标签对象,如:<p class="title"><b>yoyoketang</b></p>,这就是一个标签

NavigableString :字符对象

BeautifulSoup   :就是整个html对象

Comment    :注释对象,如:!--for HTML5 --,它其实就是一个特殊NavigableString

1.find_all查找的是一个list对象

2.get_text()  获取tag标签下所有的文本

3.replace替换字符串里面的特殊字符

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_893641.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实现网站的高并发访问

高并发访问的核心原则其实就一句话“把所有的用户访问请求都尽量往前推”。 如果把来访用户比作来犯的"敌人"&#xff0c;我们一定要把他们挡在800里地以外&#xff0c;即不能让他们的请求一下打到我们的指挥部&#xff08;指挥部就是数据库及分布式存储&#xff09;…

网站本地化翻译为何找专业翻译公司?

随着互联网的普及&#xff0c;网站作为企业对外展示 的重要窗口&#xff0c;得到了越来越多的重视。不少公司除了拥有本土化语言网站&#xff0c;同时搭建多语种网站&#xff0c;这样网站翻译的服务应用而生。那么&#xff0c;什么是网站翻译&#xff0c;如何做好网站本地化翻译…

网站法语翻译,本地化翻译公司哪个正规

据了解&#xff0c;进入国外市场的任何企业都需要伴随着网站翻译和本地化&#xff0c;一个配有当地语言的网站&#xff0c;将会是一张可以为您带来高速发展的名片。那么&#xff0c;如何做好网站的法语翻译&#xff0c;网站中文翻译成法语&#xff0c;本地化翻译公司哪家比较正…

win7或win2008,配置网站后无法访问的解决

错误提示是&#xff1a; The requested page cannot be accessed because the related configuration data for the page is invalid. http://blog.csdn.net/chensirbbk/article/details/6435133 win7和win2008 r2下配置IIS(ASP.net) 分类&#xff1a; Asp.net 2011-05-20…

three.js使用一:本机建网站浏览example

要想查看例子&#xff0c;直接用浏览器打开例子文件有些地方时不会显示效果的&#xff0c;要自己建一个网站。 方法如下&#xff1a; 在IIS管理器中&#xff0c;右击默认网站-》添加网站&#xff0c;输入名称并指定位置&#xff0c;我指定的是three.js的总目录。 也可以先添…

个人站长之路,本人自建的一个网站

由之前固定的pc端网站到最近升级的响应式网站&#xff0c;网站改版优化的同时&#xff0c;我的web前端技术也逐渐提高。 之前固定的pc端网站所用到的知识&#xff1a; 1.HTML 2.CSS 3.JavaScript 4.dedecms后台整合 最近升级的响应式网站所增加知识&#xff1a; 1.HTML5 2.…

网站终于申诉成功!腾讯真难搞啊!

之前3月27日腾讯提示我的网站&#xff1a; 该网站在不久前曾被管家检测出恶意信息&#xff0c;恶意信息删除后&#xff0c;管家仍将保持拦截4周&#xff0c;以防篡改。请在删除恶意信息4周后提交申诉&#xff0c;若再次被管家检测出恶意内容&#xff0c;该网站则不再接受申诉。…

JavaScript限时搜索功能实现,限制恶意搜索保护网站减轻服务器负担

如果我们的网站可以让用户一直连续不断地搜索文章或帖子&#xff0c;如果大量用户同时连续搜索&#xff0c;或者被别人恶意不断连续搜索&#xff0c;这样就会给服务器造成很大的负担&#xff0c;导致网站不稳定&#xff0c;甚至访问不了。 基于这个问题&#xff0c;我们需要写…

在Windows10上使用GitHub和Hexo搭建自己的博客网站

在Windows10上使用GitHub和Hexo搭建自己的博客网站 前言准备工作Node.js下载及安装git下载及安装Hexo下载及安装 博客搭建创建GitHub项目配置SSH Key配置Hexo博客 将hexo博客上传至GitHub访问 前言 搭建网站一般需要购买域名和云服务器空间&#xff0c;但对搭建博客网站来说&a…

c库函数查询的网站

1.网址&#xff1a;http://www.cprogramming.com/function.html 2.网址&#xff1a;http://en.cppreference.com/w/

Asp.Net网站发布到IIS后部分页面乱码

虽然页面上我们可以指定编码格式来确定页面展示&#xff0c;但有些时候我们从后台传值到页面的时候&#xff0c;特别是ViewBag方式时&#xff0c;可能会出现乱码情况&#xff01; 网络上有一些是采用Html.Raw(ViewBag.Demo)这样的方式进行的&#xff0c;这个本身针对特殊字符H…

对SEO来说,链接的重要性超乎想象

原文地址&#xff1a;For SEO, links are even more important than you think 作者&#xff1a;Katherine Noyes 翻译&#xff1a;赖信涛 责编&#xff1a;仲培艺 如今&#xff0c;很少有业务不注重搜索引擎优化&#xff0c;再小的业务也会针对性地做一些有利于搜索引擎排名的…

分享九款构建响应式网站的最佳PHP框架

原文&#xff1a;9 Best PHP Frameworks to Build Awesome Responsive Websites 作者&#xff1a;Andrey Prikaznov 翻译&#xff1a;王嘉怡 责编&#xff1a;仲培艺 目前&#xff0c;网上有大量的框架供大家选择&#xff0c;本文作者分享了9款各方面都兼具优势的PHP框架&#…

隧道代理如何测试访问网站的响应时间?

当我们要购买了HTTP代理&#xff0c;千挑万选以后决定从中挑选几家来测试&#xff0c;今天我们就来说说&#xff0c;如何测试HTTP代理访问网站的响应时间&#xff0c;有的厂商宣称相应时间只要10ms&#xff1a; 实际上手卡到妈都不认识&#xff08;不针对截图这家厂商&#xff…

DESTOON CMS 网站搬家后出现首页及后台全部空白怎么办

原创文章来自 https://www.ympfb.com/show-27-46-1.html 简介&#xff1a; destoon cms 还是可以的&#xff0c;还不错&#xff0c; 最近弄了个这个&#xff0c;给公司弄的 网址是 www.jiancai618.com 这是我给企业弄的 大家可以参考一下 &#xff0c;然后我们服务器放…

源兆网 下半部 网站搭建【phpcms】使用cms搭建网站,企业站

原创文章转自&#xff1a;https://www.ympfb.com/show-28-22-1.html 上半部请点击这里 下半部 四 phpcms企业站搭建 接下来给大家 分享 phpcms 搭建网站的下半部 服务器环境搭建完成后&#xff0c;打开宝塔&#xff0c;软件商店------一键部署-----phpcms&#xff0c;一键部…

网站搭建【phpcms】使用cms搭建网站,企业站

原创文章转自&#xff1a;https://www.ympfb.com/show-28-19-1.html 上半部 网站搭建教程 流程分享 站长提供分享一整套 网站上线流程&#xff0c; 即使你是小白&#xff0c;只要按照&#xff0c;我提供的流程操作&#xff0c;也能将网站上线。 一 &#xff0c;提前准备工作…

推荐一个外国的数据结构在线演示网站

网站地址 https://www.cs.usfca.edu/~galles/visualization/Algorithms.html 使用演示 打开网站如下&#xff1a; 以BTrees为例&#xff0c;点击BTrees 我们以输入1&#xff0c;2&#xff0c;3&#xff0c;4为例&#xff0c;输入1&#xff0c;点击insert&#xff0c;其他数字…

Chrome浏览器模拟手机访问网站的设置方法

Chrome浏览器模拟手机访问网站的设置方法 浏览&#xff1a;1003 | 更新&#xff1a;2014-06-04 10:25 | 标签&#xff1a; chrome 以前我们介绍过如何通过修改Chrome浏览器运行参数的方法来模拟手机访问网站&#xff0c;但是在Chrome 32和33版本以后增加了更加便捷的方法&…

整合Spingboot+Redis+Shiro,打造一个电商网站

一&#xff1a;导入数据 导入sql文件 二&#xff1a;创建项目 点击Create New Project新建项目 左边选中Spring Initializr&#xff0c;直接下一步 GroupId: 填写项目组的名字&#xff0c; ArtifactId: 填写项目的名字左边选中 Web&#xff0c;右边选中 Web 项目路径选择&a…