本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 )
于是就发现了这个好看的手机壁纸网站。
看到那么多好看的壁纸，我的爬虫已经饥渴难耐了
受害网址
http://m.bcoderss.com/
为了良性爬取，这个代码就不完整的展示出来了
部分爬虫代码
导入工具
from urllib import parse
import requests
import parsel
import re
解析网站，爬取数据
for page in range(1, 10):print('正在爬取第{}页壁纸'.format(page))url = 'http://m.bcoderss.com/tag/{}/page/{}/'.format(name, page)headers = {'Cookie': 'UM_distinctid=1747c5616688f-0da459aa281e74-3962420d-1fa400-1747c56166982d; CNZZDATA1278590218=744878758-1599811024-%7C1599811024','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)selector = parsel.Selector(response.text)img_url = selector.css('#main a::attr(href)').getall()
设置爬取类目
string = input('请输入你要爬取的类目：')
name = parse.unquote(string)
保存图片
path = 'C:\\Users\\Administrator\\Desktop\\手机壁纸\\' + new_title + '.jpg'
with open(path, mode='wb') as f:f.write(data_response.content)print(title)
运行代码，效果如下图
