20行Python 代码批量抓取免费高清图片!

2019/7/23 13:56:16 人评论 次浏览 分类:python

前言

相信在你的工作中可能会经常用到PPT吧,你在PPT制作过程中有没有这样的困惑,就是可以到哪里找到既高清又无版权争议的图片素材呢?这里强烈推荐ColorHub,这是一个允许个人和商业用途的免费图片网站,真的很赞!从她的主页界面来看,也许你就会爱上她。
在这里插入图片描述

那么,如何将网站中的图片存储到本地呢(例如比较关心跟数据相关的素材)?如果做到了,就可以在没有网络的情况下,随心所欲的选择精美图片制作PPT,随时随地的查看自己的图片库。而本文所要跟大家分享的就是这个问题的解决方案。

爬虫思路

我们知道,对于图片网站的抓取,往往需要经过三层网页链接,为了能够直观地理解这三层链接,可以查看下图:
在这里插入图片描述

顶层页:是指通过网站主页的搜索栏,搜索出感兴趣的图片方向,便进入到的图片列表页,它的样子是这样的:
在这里插入图片描述

次层页:是指点击图片列表页中的某张图片,转而对应到的图片详情页,它的样子是这样的:
在这里插入图片描述

目标页:最后就是为了抓取图片详情页中的那张高清图片,而这张图片在网页源代码中就是一个图片链接,它的样子是这样的:
在这里插入图片描述

所以,爬虫抓取图片的最终目的就是找到高清图片所对应的链接。接下来将通过代码的介绍,呈现三层链接的寻找和请求过程。代码的每一行都将对应中文解释,如果还有其他疑问,可以在留言区留言,我会第一时间给你答复。

导入第三方包
import
 requests
from
 bs4 
import
 
BeautifulSoup
import
 random
import
 time
from
 fake_useragent 
import
 
UserAgent

通过循环实现多页图片的抓取
for
 page 
in
 range(
1
,
11
):
    
# 生成顶层图片列表页的链接
    fst_url = r
'https://colorhub.me/search?tag=data&page={}'
.format(page)
    
# 生成UA,用于爬虫请求头的设置
    UA = 
UserAgent
()
    
# 向顶层链接发送请求
    fst_response = requests.get(fst_url, headers = {
'User-Agent'
:UA.random})
    
# 解析顶层链接的源代码
    fst_soup = 
BeautifulSoup
(fst_response.text)
    
# 根据HTML的标记规则,返回次层图片详情页的链接和图片名称
    sec_urls = [i.find(
'a'
)[
'href'
] 
for
 i 
in
 fst_soup.findAll(name = 
'div'
, attrs = {
'class'
:
'card'
})]
    pic_names = [i.find(
'a'
)[
'title'
] 
for
 i 
in
 fst_soup.findAll(name = 
'div'
, attrs = {
'class'
:
'card'
})]
    
# 对每一个次层链接做循环
    
for
 sec_url,pic_name 
in
 zip(sec_urls,pic_names):
        
# 生成UA,用于爬虫请求头的设置
        UA = 
UserAgent
()
        ua = UA.random
        
# 向次层链接发送请求
        sec_response = requests.get(sec_url, headers = {
'User-Agent'
:ua})
        
# 解析次层链接的源代码
        sec_soup = 
BeautifulSoup
(sec_response.text)
        
# 根据HTML的标记规则,返回图片链接
        pic_url = 
'https:'
 + sec_soup.find(
'img'
,{
'class'
:
'card-img-top'
})[
'src'
]
        
# 对图片链接发送请求
        pic_response = requests.get(pic_url, headers = {
'User-Agent'
:ua})
        
# 将二进制的图片数据写入到本地(即存储图片到本地)
        
with
 open(pic_name+
'.jpg'
, mode = 
'wb'
) 
as
 fn:
            fn.write(pic_response.content)
        
# 生成随机秒数,用于也没的停留
        seconds = random.uniform(
1
,
3
)
        time.sleep(seconds)

不难发现,代码的核心部分就16行,还是很简单的吧。还不赶快去测试一下这里的代码哦(如果你对某个方面感兴趣,如商务、建筑、植物等,通过搜索,找到顶层页链接,替换代码中的fst_url值即可)。

在运行完如上代码后,将会抓取ColorHub网站中的10页图片,一共包含325张高清图片,展示如下:

相关资讯

    暂无相关的资讯...

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->