【Python】------ Python批量爬取某网站图片代码展示

news/2024/5/10 21:52:40/文章来源:https://blog.csdn.net/qq_38366657/article/details/116602395

一, Python批量爬取某网站图片代码展示 简洁清晰:

1.使用技术包:requests,urllib,BeautifulSoup等;

1.效果展示:

import os
import reimport requests
import json
from lxml import etree
import urllib
from bs4 import BeautifulSoup#下载图片
def getSogouImagDowld(htmlsrc,filename,path):imgHtml = requests.get(htmlsrc)soup = BeautifulSoup(imgHtml.text, 'html.parser')imgSrcHtml = soup.select('.photo-information-content img')m=0for i in imgSrcHtml:selector = etree.HTML(str(i))imgsrc = selector.xpath('//img/@src')[0]print('***** '+imgsrc+' *****'+'   Downloading...')try:urllib.request.urlretrieve(imgsrc, path + filename + '/' + str(m) + '.jpg')m = m + 1print('Download complete!')except IOError:print ("没有找到文件")#获取图片def getSogouImag(page,limit,path):vpage = pagevlimit= limit# imgs = requests.get('https://www.zcool.com.cn/discover.json?cate=1&subCate=7&hasVideo=0&city=0&college=0&recommendLevel=2&sort=9&limit=200&page=1')imgs = requests.get('https://www.zcool.com.cn/search/content.json?word=nutdream&cate=0&type=0&recommendLevel=0&time=0&hasVideo=0&city=0&college=0&sort=5&limit=25&column=5&page=1')jd = json.loads(imgs.text)jdData = jd['data']["data"]# jdData = jd['data']html_url = []file_name = []#保留网址for jd_json in jdData:if 'pageUrl' in jd_json['object']:pageUrlstr=jd_json['object']['pageUrl']fileName=jd_json['object']['title'].strip()fileName=re.sub('[a-zA-Z0-9"#$%&\'()*+,-./:;<=>?@,。?★、…【】《》?“”‘[\\]^_`{|}~\s]+','', fileName)html_url.append(pageUrlstr)file_name.append(fileName)#创建文件夹for fileValue in file_name:print('***** ' + str(fileValue) + ' 创建文件夹 *****' + '   Createloading...')fileDY=path+fileValueisExists = os.path.exists(fileDY)# 判断结果 不存在就创建if not isExists:os.makedirs(fileDY)#下载图片fileNum=0for url in html_url:print('***** ' + str(url) + ' 下载图片中 *****' + '   downloadloading...')filename=file_name[fileNum]getSogouImagDowld(url,filename,path)fileNum=fileNum+1getSogouImag(200,1,'D:/nutdream/')

效果图:

 推荐其他文章:

【Python】-------通过Python爬取某乎动态图片实例代码_皮皮冰要做大神-CSDN博客一、找到需要爬取的用户主页:例如如下:https://www.zhihu.com/people/chen-ge-monica想要爬取其中的动态图片进行保存下来。可以通过python实现。二、通过python技术实现。1.先找[动态信息]是如何渲染的,既然前端显示出来,说明肯定有调取后台数据的url,怎么查看呢 看如下图: 按【F12】打开【开发者工具】找到【Network】找到如下url地...https://blog.csdn.net/qq_38366657/article/details/122878530【Python】------- Python 12个常用内置函数的使用方式_皮皮冰要做大神-CSDN博客一,Python 12个常用内置函数的使用方式 :1.max - 获取最大值;2.min - 获取最小值;3.list - 转成列表;4.append - 追加一个元素;5.count - 某个元素出现的次数;6.extend - 已存在的列表中添加新的列表内容;7.index - 找到索引的位置;8.insert - 插入索引任意位置上;9.pop - 移除指定索引位置;10.remove -移除匹配项;11.reverse - 列表元素进行排序;12...https://blog.csdn.net/qq_38366657/article/details/114534914

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_806255.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大学生实用「自学网站/学习资料」,老学长含泪分享!

很多萌新程序员都有遇到以下问题&#xff0c;我应该学哪个方向&#xff1f;要学习哪些知识&#xff1f;怎么掌握好知识&#xff1f;老学长结合自己的经历来分享下。 1.应该学习哪个方向&#xff1f; 计算机专业其实可以细分成很多方向&#xff1a;游戏客户端、游戏服务端、Web…

云服务器 ECS 建站教程:镜像部署Windows环境

镜像部署Windows环境您可以根据业务需要&#xff0c;选择下列任意一种方式部署云服务器 ECS 实例的使用环境&#xff1a; 镜像部署手动部署下表列出了两种部署方式的特点。一般推荐镜像部署。如果您需要个性化定制部署&#xff0c;建议使用手动部署。 对比项镜像部署手动部署部…

一份数据告诉你,被万年漏洞王 Struts2 坑了的网站有哪些

Apache Struts2 作为世界上最流行的 Java Web 服务器框架之一&#xff0c;3 月 7 日带来了本年度第一个高危漏洞——CVE编号 CVE-2017-5638 。其原因是由于 Apache Struts2 的 Jakarta Multipart parser 插件存在远程代码执行漏洞&#xff0c;攻击者可以在使用该插件上传文件时…

个人用户网站备案的方法

按照工信部《非经营性互联网信息服务备案管理办法》的规定&#xff0c;企业或个人在中国国内开设网站的话&#xff0c;需要进行网站备案。很多个人在开设网站的时候不知道如何进行备案&#xff0c;现在我就介绍一下个人网站备案的方法和流程。 个人网站备案一般是通过网站接入商…

网站 建站,阿里云建站产品套餐怎么选

有些用户听说阿里云自营建站产品很好用&#xff0c;但是因为没有用过&#xff0c;有点担心好不好用&#xff0c;跟市面上其它第三方建站套餐产品对比&#xff0c;有什么有缺点。 阿里云自营建站分为2种产品&#xff0c;一个是&#xff1a;云速成美站特点&#xff1a;自己动手做…

怎样建设网站首页

首页是每个网站必须要有的一个页面&#xff0c;要知道怎样建设网站首页&#xff0c;首先要知道如何建设网站。下面为大家介绍一下如何建设网站&#xff0c;看完以下介绍&#xff0c;相信你就知道了怎样建设网站首页了。 怎样建设网站首页      1、建立网站前的网站策划 专…

企业微信代运营方案怎么做 微信代运营网站有哪些

1、首先要了解企业做微信代运营的目的。这个目的必须明确&#xff0c;要不然工作就没法干。 2、分析同行或相关行业做的不错的帐号。同行是最好的老师&#xff0c;不用试错&#xff0c;照搬照抄就行了&#xff0c;省去试错的时间和成本。 3、运营微信帐号周期1-2个月。做方案就…

支付宝手机网站支付

项目需要支付宝手机网站支付唤起支付宝app&#xff0c;因为之前做过支付宝pc端的支付以为小菜一碟&#xff0c;都是支付宝支付应该差不多&#xff0c;实际上底层sdk确实差不多&#xff0c;但因为这次用的沙箱测试账号&#xff0c;所以配置上略有不同。最大的坑是沙箱账号支付必…

从上百幅架构图中学得半点大型网站建设经验(上)

从上百幅架构图中学大型网站建设经验&#xff08;上&#xff09; 引言 近段时间以来&#xff0c;通过接触有关海量数据处理和搜索引擎的诸多技术&#xff0c;常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外&#xff0c;更为架构图背后所隐藏的设…

构建高负载高性能大型网站的十个终极秘诀

对互联网有了解的人都有自己的想法&#xff0c;有人就把想法付诸实现&#xff0c;做个网站然后开始运营。其实从纯网站技术上来说&#xff0c;因为开源模式的发展&#xff0c;现在建一个小网站 已经很简单也很便宜。当访问量到达一定数量级的时候成本就开始飙升了&#xff0c;问…

it自学网站推荐

超详细的自学网站资源&#xff01; w3cschool 2016-09-28 19:28活到才学到老&#xff0c;自学能力已经成为最重要的一种竞争力&#xff0c;特别是在IT行业&#xff0c;每个人都有自学的经历&#xff0c;我也不例外&#xff0c;这些是我在学习中、工作中收藏的网站资源。希望能帮…

Heroku 教程:使用 Heroku 快速搭建站点

简介 Heroku 是 Salesforce 旗下云服务商&#xff0c;提供方便便捷的各种云服务&#xff0c;如服务器&#xff0c;数据库&#xff0c;监控&#xff0c;计算等等。并且他提供了免费版本&#xff0c;这使得我们这些平时想搞一些小东西的人提供了莫大的便捷&#xff0c;虽然他有时…

c语言大学生自学网教学视频,6个质量最高的自学网站,悄悄的提成能力!

原标题&#xff1a;6个质量最高的自学网站&#xff0c;悄悄的提成能力&#xff01;世界上没有蠢人&#xff0c;只有懒人。人生本来就是活到老&#xff0c;学到老&#xff0c;如果你不愿意接受新的知识&#xff0c;那么&#xff0c;你只能面临落后。自学很难&#xff0c;首先就要…

安居客检测到网页抓取_深圳seo网站优化快速吸引蜘蛛抓取的3种方法

最近SEOer也知道&#xff0c;百度下线了天级收录和周级收录&#xff0c;导致文章更新后收录没有以前那么快了&#xff0c;因此收到了太多的同行抱怨了&#xff0c;即便百度现在也上线了快速收录功能&#xff0c;但是这个效果也不是很明显&#xff0c;为此面对大部分苦恼的伙伴们…

自学网站大全(值得收藏)

自学&#xff0c;顾名思义就是自我学习。在这个信息爆炸的时代里&#xff0c;网络上有很多学习资源的。以下就是学习网站的介绍&#xff1a; 目录 综合类 中国大学MOOC(慕课)_国家精品课程在线学习平台 https://www.icourse163.org/ MOOC中国 - 慕课改变你&#xff0c;你改…

十分钟免费拥有永久网站

在人人都会上网的信息时代&#xff0c;拥有属于自己的网站&#xff0c;已经不是什么稀奇的事情了。Github Pages 就可以满足我们的需求了。它是 github 公司提供的免费的静态网站托管服务&#xff0c;用起来方便而且功能强大&#xff0c;不仅没有空间限制&#xff0c;还可以绑定…

怎么限制网页上传图片的尺寸_黑橙修图:有了这个网站,你再也不用担心你的图片超过限制大小了...

当我们在一些网站提交证件照或头像时&#xff0c;有时候会遇到图片大小超过网站限制的情况。比如前一阵就有朋友要我帮忙压缩一下证件照。要从xxxK压缩到xxk。其实压缩图片大小的方法有很多&#xff0c;有人可能会说&#xff1a;“ps里面&#xff0c;你xxxxxxxxx设置一下&#…

php复制统计源码整套_建站工具中百度统计代码的安装方法

以下是SEM培训班老师整理的在建站工具中百度统计代码的安装方法&#xff0c;仅供同学们参考学习。Discuz安装百度统计方法&#xff1a;首先在百度统计获取安装代码&#xff0c;然后登陆discuz后台&#xff0c;进入全局>站点信息>&#xff0c;复制统计代码并粘贴到“网站第…

base标签抓取错误:我不再用discuz程序建设门户网站[图]

2019独角兽企业重金招聘Python工程师标准>>> 以前我是采用discuz程序的门户来建设网站的&#xff0c;因为我一开始创建地方论坛的时候就采用了这套程序&#xff0c;不得不说的是&#xff0c;discuz论坛程序是国内最好的论坛系统&#xff0c;也得到了广泛的使用&…

大数据教程(2.11):大型网站架构图详解

2019独角兽企业重金招聘Python工程师标准>>> 很多知名的网站&#xff08;如&#xff0c;百度&#xff1b;腾讯&#xff1b;360等&#xff09;随着时间的推移&#xff0c;用户量越来越大&#xff0c;后台数据也越来越多。此时&#xff0c;服务器每秒钟的访问量可能就…