一, Python批量爬取某网站图片代码展示 简洁清晰:
1.使用技术包:requests,urllib,BeautifulSoup等;
1.效果展示:
import os import reimport requests import json from lxml import etree import urllib from bs4 import BeautifulSoup#下载图片 def getSogouImagDowld(htmlsrc,filename,path):imgHtml = requests.get(htmlsrc)soup = BeautifulSoup(imgHtml.text, 'html.parser')imgSrcHtml = soup.select('.photo-information-content img')m=0for i in imgSrcHtml:selector = etree.HTML(str(i))imgsrc = selector.xpath('//img/@src')[0]print('***** '+imgsrc+' *****'+' Downloading...')try:urllib.request.urlretrieve(imgsrc, path + filename + '/' + str(m) + '.jpg')m = m + 1print('Download complete!')except IOError:print ("没有找到文件")#获取图片def getSogouImag(page,limit,path):vpage = pagevlimit= limit# imgs = requests.get('https://www.zcool.com.cn/discover.json?cate=1&subCate=7&hasVideo=0&city=0&college=0&recommendLevel=2&sort=9&limit=200&page=1')imgs = requests.get('https://www.zcool.com.cn/search/content.json?word=nutdream&cate=0&type=0&recommendLevel=0&time=0&hasVideo=0&city=0&college=0&sort=5&limit=25&column=5&page=1')jd = json.loads(imgs.text)jdData = jd['data']["data"]# jdData = jd['data']html_url = []file_name = []#保留网址for jd_json in jdData:if 'pageUrl' in jd_json['object']:pageUrlstr=jd_json['object']['pageUrl']fileName=jd_json['object']['title'].strip()fileName=re.sub('[a-zA-Z0-9"#$%&\'()*+,-./:;<=>?@,。?★、…【】《》?“”‘[\\]^_`{|}~\s]+','', fileName)html_url.append(pageUrlstr)file_name.append(fileName)#创建文件夹for fileValue in file_name:print('***** ' + str(fileValue) + ' 创建文件夹 *****' + ' Createloading...')fileDY=path+fileValueisExists = os.path.exists(fileDY)# 判断结果 不存在就创建if not isExists:os.makedirs(fileDY)#下载图片fileNum=0for url in html_url:print('***** ' + str(url) + ' 下载图片中 *****' + ' downloadloading...')filename=file_name[fileNum]getSogouImagDowld(url,filename,path)fileNum=fileNum+1getSogouImag(200,1,'D:/nutdream/')
效果图:
推荐其他文章:
【Python】-------通过Python爬取某乎动态图片实例代码_皮皮冰要做大神-CSDN博客一、找到需要爬取的用户主页:例如如下:https://www.zhihu.com/people/chen-ge-monica想要爬取其中的动态图片进行保存下来。可以通过python实现。二、通过python技术实现。1.先找[动态信息]是如何渲染的,既然前端显示出来,说明肯定有调取后台数据的url,怎么查看呢 看如下图: 按【F12】打开【开发者工具】找到【Network】找到如下url地...https://blog.csdn.net/qq_38366657/article/details/122878530【Python】------- Python 12个常用内置函数的使用方式_皮皮冰要做大神-CSDN博客一,Python 12个常用内置函数的使用方式 :1.max - 获取最大值;2.min - 获取最小值;3.list - 转成列表;4.append - 追加一个元素;5.count - 某个元素出现的次数;6.extend - 已存在的列表中添加新的列表内容;7.index - 找到索引的位置;8.insert - 插入索引任意位置上;9.pop - 移除指定索引位置;10.remove -移除匹配项;11.reverse - 列表元素进行排序;12...https://blog.csdn.net/qq_38366657/article/details/114534914