本次目的：

python 抓取某某站图片

本次亮点：

1. 系统性分析页面
2. 多页面数据解析
3. 海量图片数据保存

开发环境 & 第三方模块：

• 解释器版本 >>> python 3.8
• 代码编辑器 >>> pycharm 2021.2
• requests >>> pip install requests
• parsel >>> pip install parsel

爬虫主要流程:

一. 网站分析

1. 找到目标网站
   链接
2. 获取每个相册的地址 去批量的下载图片

二. 代码实现过程

1. 发送网络请求 向相册列表页 链接
2. 获取数据 网页源代码
3. 筛选数据 相册地址
4. 发送网络请求 向相册页面 并且 获取数据 网页源代码
5. 筛选数据 图片地址
6. 发送网络请求 & 获取数据 向图片地址
7. 保存图片

代码编写

1. 导入模块

import requests
import parsel   # lxml  re  bs4
import re
import os

2. 加一个伪装

headers = {'referer': 'https://www.jdlingyu.com/tuji','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}for page in range(1, 393):url = f'https://www.jdlingyu.com/tuji/page/{page}'

3. 发送网络请求

    response = requests.get(url, headers=headers)# <Response [200]>: 请求成功

4. 获取数据 网页源代码

    html_data = response.text

5. 筛选数据

    # re# url_list = re.findall('<h2><a  target="_blank" href="(.*?)">.*?</a></h2>', html_data)# xpathselector = parsel.Selector(html_data)url_list = selector.xpath('//div[@class="post-info"]/h2/a/@href').getall()

6. 发送网络请求 向相册页面 并且 获取数据 网页源代码

    for detail_url in url_list:detail_html = requests.get(detail_url, headers=headers).text

相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以点击免费领取

7. 筛选数据 图片地址

        detail_selector = parsel.Selector(detail_html)title = detail_selector.xpath('//h1/text()').get()# 如果不存在 img/titleif not os.path.exists('img/' + title):# 那就新建os.mkdir('img/' + title)img_list = detail_selector.xpath('//div[@class="entry-content"]//img/@src').getall()for img in img_list:# 获取二进制数据img_data = requests.get(img, headers=headers).contentimg_title = img.split('/')[-1]with open(f'img/{title}/{img_title}', mode='wb') as f:f.write(img_data)print(f'正在爬取: {img_title}')

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！