死党暗恋校花失败，我爬了这个网站发给他分分钟治愈，男人的快乐往往很简单（每天一遍，忘却初恋）

news/2024/5/14 19:58:42/文章来源:https://blog.csdn.net/fei347795790/article/details/122500860

死党一直暗恋校花，但是校花对他印象也不差，就是死党一直太怂了，不敢去找校花，直到昨天看到校花登上了校董儿子的豪车，死党终于彻底死心，大醉一场，作为他的兄弟，我怎么能看他郁郁不振呢？

为了让他忘掉校花，走出阴影，我于是决定把我新收藏的网站分享给他，顺便分享给大家，纯纯的交流技术，大家备好纸巾，不对，备好纸笔😂

在这里插入图片描述
效果如下

在这里插入图片描述

爬取目标

网址：（实在是不敢放，满满的求生欲，官方大佬手下留情）
在这里插入图片描述兄弟们啊，不要怪我，不打码不行啊，我是来交流技术的。

要用的工具

软件：
python 3.8
pycharm 2021专业版

模块：
requests
parsel

没有模块 pip 安装模块即可

流程解析

我们首先就是先进入到这个网址，向网站发送网络请求。

然后去拿到它的网页源代码数据，右键点击，查看他的网页源代码。

我们访问网站拿到的数据就是它。
在这里插入图片描述后续的步骤我就不截图了，可以看我视频讲解。

获取到数据后，我们要去解析数据，筛选我们想要的内容，相册详情页地址，标题等等。

然后向详情页发送请求并解析数据，再向图片链接发送请求，获取图片二进制数据，最后保存图片。

详细步骤我都在视频里讲了，大家可以在这里看视频讲解，还有多线程版本

实现代码

import requests
import parsel
import re
import osfor page in range(1, 11):print(f'==================正在爬取第{page}页==================')# 1.向目标网站发送请求（get，post）response = requests.get(f'https://www.网站不提供，想用来实践技术的话可以私我拿.com/page/{page}')# 2. 获取数据（网页源代码）data_html = response.text# 3. 解析网页（re正则表达式，css选择器，xpath，bs4，json） 提取每一个详情页的链接与标题zip_data = re.findall('<a href="(.*?)" target="_blank"rel="bookmark">(.*?)</a>', data_html)for url, title in zip_data:print(f'----------------正在爬取{title}----------------')if not os.path.exists('img/' + title):os.mkdir('img/' + title)# 4. 向详情页发送请求resp = requests.get(url)# 5. 获取数据（网页源代码）url_data = resp.text# 6. 解析网页 （提取图片链接）selector = parsel.Selector(url_data)img_list = selector.css('p>img::attr(src)').getall()for img in img_list:# 7. 向图片链接发送请求# 8. 获取数据（图片二进制数据）img_data = requests.get(img).content# 9. 保存数据img_name = img.split('/')[-1]with open(f"img/{title}/{img_name}", mode='wb') as f:f.write(img_data)print(img_name, '爬取成功！！！')print(title,'爬取成功！！！')