如何用Python写个网页爬取程序
- 准备开发工具
- 安装Python
- Python安装pip
- Pip安装爬取插件
- 准备好网页地址
- 代码实现
准备开发工具
额，作者用的是vscode。具体怎么安装自行百度哈，这个都不会建议就不要学爬取了。
不忍心藏着也，给你个方法吧
- vscode下载
- windows如何安装vscode
安装Python
怎么安装？这个不会建议也不要学爬取了。算了出于善良，给你们指条明路。
- windows如何下载Python
- 如何配置Python环境变量
- vscode如何配置Python开发环境
Python安装pip
在开发工具配置好py环境后直接上代码就完事了。
python.exe -m pip install --upgrade pip //py 更新pippython.exe -m pip install //py 安装pippy -m pip install //这是一个缩写格式
Pip安装爬取插件
为了快速讲解，直接上代码吧
pip install requests //安装请求插件
pip install beautifulsoup4 //直接抽取图片内容的插件
准备好网页地址
知道你们想偷懒，送你们了，不谢
https://www.vcg.com/creative/
代码实现
我们知道网页中图片的格式一般是
<img src="https://xxx.com/xx.jpg/img/png/webp">
但很不幸有些网站的内容并非如此，我们来看下如下代码爬取的内容
import requests
url = "https://www.vcg.com/creative/"
response = requests.get(url)
if response.status_code == 200:content = response.content.decode("utf-8")print(content)
else:print("Failed to retrieve content from", url)
网页中图片居然是这种格式显示的
<source data-srcset="//alifei01.cfp.cn/cms/image/image/90bdf6ac7070416ca036f869617512f1.jpg?x-oss-process=image/format,jpg" type="image/jpg"/>
针对上诉该如何是好呢？
这个就要用到我们上诉安装的beautifulsoup4 抽取图片连接的工具，来看看怎么用吧。先给你们看下效果，不懂再看下方解释
代码解释
import requests
from bs4 import BeautifulSoup
url = "https://www.vcg.com/creative/"
response = requests.get(url)
if response.status_code == 200:
# 获取网页内容html = response.content# 解析html格式网页，可以是其他格式soup = BeautifulSoup(html, 'html.parser')# 根据图片标签获取标签属性内容。正常情况都是<img src="">这种,而我们的是<source data-srcset="">#img_tags = soup.find_all('img')img_tags = soup.find_all('source')for img in img_tags:print(img['src'])# print(img['data-srcset'])
else:print("Failed to retrieve content from", url)
当然通过上诉代码我们可以爬取不同的网页格式内容。以及多种格式的标签图片，我们取个并集就好了。
爬取的内容
//alifei02.cfp.cn/cms/image/image/58eab40df6b7477781340130f124724d.jpg?x-oss-process=image/format,webp
//alifei02.cfp.cn/cms/image/image/58eab40df6b7477781340130f124724d.jpg?x-oss-process=image/format,jpg
//alifei03.cfp.cn/cms/image/image/247d928e210c42f5897d2ca9d325a8ad.jpg?x-oss-process=image/format,webp
//alifei03.cfp.cn/cms/image/image/247d928e210c42f5897d2ca9d325a8ad.jpg?x-oss-process=image/format,jpg
//alifei04.cfp.cn/cms/image/image/17f075e1c19f40cfaf3b3f7e16df211e.jpg?x-oss-process=image/format,webp
//alifei04.cfp.cn/cms/image/image/17f075e1c19f40cfaf3b3f7e16df211e.jpg?x-oss-process=image/format,jpg
//alifei05.cfp.cn/cms/image/image/0060aa0e0c0f45fdbb4127167bff2a34.jpg?x-oss-process=image/format,webp
//alifei05.cfp.cn/cms/image/image/0060aa0e0c0f45fdbb4127167bff2a34.jpg?x-oss-process=image/format,jpg
//alifei01.cfp.cn/cms/image/image/b437cf301cd2488e8c9a9c6082605bfa.jpg?x-oss-process=image/format,webp
//alifei01.cfp.cn/cms/image/image/b437cf301cd2488e8c9a9c6082605bfa.jpg?x-oss-process=image/format,jpg
//alifei02.cfp.cn/cms/image/image/7a437c929f2e43a9bc808054f27c984a.jpg?x-oss-process=image/format,webp
//alifei02.cfp.cn/cms/image/image/7a437c929f2e43a9bc808054f27c984a.jpg?x-oss-process=image/format,jpg
//alifei03.cfp.cn/cms/image/image/23b3a51cd24547a7b9573f39ebb88d39.jpg?x-oss-process=image/format,webp
//alifei03.cfp.cn/cms/image/image/23b3a51cd24547a7b9573f39ebb88d39.jpg?x-oss-process=image/format,jpg
//alifei01.cfp.cn/cms/image/image/4b5bb2f1faff4b148e92225adbf696fe.jpg?x-oss-process=image/format,webp
//alifei01.cfp.cn/cms/image/image/4b5bb2f1faff4b148e92225adbf696fe.jpg?x-oss-process=image/format,jpg
//alifei02.cfp.cn/cms/image/image/756a48a633c54bf89de525cf28ed411c.jpg?x-oss-process=image/format,webp
//alifei02.cfp.cn/cms/image/image/756a48a633c54bf89de525cf28ed411c.jpg?x-oss-process=image/format,jpg
假设我们取第一条
//alifei02.cfp.cn/cms/image/image/58eab40df6b7477781340130f124724d.jpg?x-oss-process=image/format,webp
这个在网页怎么访问？？
很简单做个字符串的截取拼接就好了，去掉// 拼接https 去掉参数。如下
https://alifei02.cfp.cn/cms/image/image/58eab40df6b7477781340130f124724d.jpg
假设我们循环存入数据库。。。【奸笑且猥琐】
可是版权怎么办。。。【开始垂头丧气】
不管了，为了理想。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。
也不可以做违法的事。。。。。。。。。。。。。。
自己用用就好，除非人家给你版权了，那我们大可放开手脚的干
