网不好,看个漫画加载半天?教你用Python批量下载网站所有漫画(附源码和视频教程)

news/2024/5/15 2:53:39/文章来源:https://blog.csdn.net/fei347795790/article/details/119891625

回老家去了,显得无聊上网看个小漫画,不是那种你们想的~
在这里插入图片描述
结果真的是移不动联不通信不过了,不是一格信号就是无信号,4G变2G了,搞心态!
在这里插入图片描述
没办法,只能连夜跑去网吧编程,用Python直接把整个网站的漫画都给爬下来传手机上了。
在这里插入图片描述
哎,这回我就不慌了~

还好我爬的是正经的漫画,不然后面一堆人,在网吧敲代码,真是有点特立独行了。

我回来之后,把这个做了个视频版教程,大家有需要的可以直接在文末拿,我直接把视频链接发出来了~
在这里插入图片描述
好了,简单的介绍下我们今天的内容叭~


首先咱们用的是这些环境

Python3.6 
pycharm

涉及到的知识点

requests
parsel   pip install 模块名
re
os

大概流程

一、单章节爬取

  1. 找到受害者 https://www.kuimh.com/chapter/332265-3351141
  2. 向受害者发送请求
  3. 获取数据:获取源代码
  4. 解析网页源代码: 提取漫画章节名, 每一页图片所在地址
  5. 保存数据: 图片数据

二、整本漫画爬取

  1. 请求 https://www.kuimh.com/book/mh10575
  2. 获取数据:获取源代码
  3. 解析网页源代码: 获取每一话所在地址
  4. 循环爬取,保存数据
import os
import re
import parsel
import requests

1.正确url地址(静态\动态)

url = "https://www.kuimh.com/book/mh10575"

获取动漫章节链接和章节名

response = requests.get(url=url)
selector = parsel.Selector(response.text)

伪类选择器nth-child(第几个标签)
::text 获取文本内容
::attr 获取标签属性值

title_list = selector.css('#detail-list-select li a:nth-child(2)::text').getall()
url_list = selector.css('#detail-list-select li a:nth-child(2)::attr(href)').getall()
if not os.path.exists('./妖神记/'):os.makedirs('./妖神记/')

f:可以传入参数

for title, url in zip(title_list, url_list):
print(f'--------------------------正在爬取{title}-------------------------')
index = 1
target_url = f"https://www.kuimh.com{url}"
resp = requests.get(target_url)
selector = parsel.Selector(resp.text)
sub_url_list = selector.css('.comicpage div img::attr(src)').getall()[:3]
sub_list = selector.css('.comicpage div img::attr(data-echo)').getall()
for i in sub_list:sub_url_list.append(i)

r:防止字符串转义

title = re.sub(r'[\/:*?"<>|.]', "", title)if not os.path.exists('./妖神记/' + title):os.makedirs('./妖神记/' + title)for url_ in sub_url_list:image = requests.get(url_).contentwith open('./妖神记/' + title + '/'+'第'+str(index)+'页.jpg', mode='wb') as f:f.write(image)print('第', str(index), '页,爬取成功')index += 1print(title, '爬取成功!!!')

看不懂的话,建议直接看视频教程~

点我看视频,密码qwer

看到最后的小伙伴都有福利,给大家送一个VIP音乐下载器,聪明的小伙伴肯定能找到在哪领的(视频里面)~

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_732862.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python爬取招聘网站,获取一手招聘需求,轻松面试上岗!

朋友的小老弟最近想找工作&#xff0c;但是不知道做什么合适&#xff0c;喊我帮忙&#xff0c;我能怎么办呢&#xff0c;那只能使出我祖传的Python大法了&#xff01; 对于Python来说&#xff0c;找个工作不是很简单的事情吗&#xff0c;于是我直接用Python把所有的岗位信息都…

Python爬虫入门教程24:下载某网站付费文档保存PDF

前言&#x1f4a8; 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 前文内容&#x1f4a8; Python爬虫入门教程01&#xff1a;豆瓣Top电影爬取 Python爬虫入门教程02&#xff1a;小说爬取 Python爬虫入门教程03&…

Python爬虫入门教程31:爬取猫咪交易网站数据并作数据分析

前言&#x1f4a8; 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 前文内容&#x1f4a8; Python爬虫入门教程01&#xff1a;豆瓣Top电影爬取 Python爬虫入门教程02&#xff1a;小说爬取 Python爬虫入门教程03&…

Python爬虫+数据分析:爬一爬那个很懂车的网站,分析一下现阶段哪款车值得我们去冲

文章目录一、写在前面二、准备工作1、知识点2、使用的软件3、第三方库三、大致流程四、代码展示分析1、爬虫部分1.1 代码展示2、效果展示2.1 爬取中2.2 保存的数据3、数据分析部分3.1 导入模块3.2 Pandas数据处理3.3 Pyecharts可视化3.4 二手车推荐4、数据分析代码运行一、写在…

Python爬虫:二十行代码获取某知名网站高质量视频,带视频讲解

文章目录一、写在前面二、爬虫原理三、案例实现四、视频讲解一、写在前面 兄弟们&#xff0c;自从上次爬虫热门后&#xff0c;我就没发高质量爬虫了&#xff0c;看的人都少了&#xff0c;唉~ 原来你们都是这样的人 二、爬虫原理 作用: 批量获取互联网数据(文本, 图片, 音频…

死党暗恋校花失败,我爬了这个网站发给他分分钟治愈,男人的快乐往往很简单(每天一遍,忘却初恋)

死党一直暗恋校花&#xff0c;但是校花对他印象也不差&#xff0c;就是死党一直太怂了&#xff0c;不敢去找校花&#xff0c;直到昨天看到校花登上了校董儿子的豪车&#xff0c;死党终于彻底死心&#xff0c;大醉一场&#xff0c;作为他的兄弟&#xff0c;我怎么能看他郁郁不振…

要不是这个沙雕网站,我这辈子都见不到这么多沙雕网站!

点击上方SQL数据库开发&#xff0c;关注获取SQL视频教程SQL专栏SQL数据库基础知识汇总SQL数据库高级知识汇总来源&#xff1a;差评&#xff08;chaping321&#xff09;到目前为止&#xff0c; 大多数已知的网站已经得到了网民们详细的解读。功能详尽的同城网站&#xff0c;仿佛…

为了防止这个网站消失,我连夜用Python离线了上万张图片

文章目录吐槽一下事前准备1、环境配置**2、模块使用3、如何配置pycharm里面的python解释器?4、pycharm如何安装插件?5、基本流程代码解析1、模块导入2、发送请求3、获取数据4、解析数据5、保存数据吐槽一下 之前好多高质量网站都不见了&#xff0c;肯定是你们整活整多了&…

除了 P 站,程序员居然还喜欢上这些网站?快来摸鱼呀!

说到p站&#xff0c;估计不知道的人已经很少了&#xff0c;除了p站还有哪些站&#xff1f;应该很多人思考过这个问题了 二次元可是有ABCDEFGHJKNMT站…等等诸多圣地的&#xff01;外面的世界很精彩&#xff0c;别抱着一个站啃了~ 1、A站 Acfun AcFun&#xff0c;中国第一家…

干货 | 程序员必备的16个实用的网站

最近看到很多网友分享了好多比较酷炫的网站&#xff0c;好多都放进小艾的收藏夹了&#xff0c;(__) 嘻嘻……看的我也忍不住想分享了&#xff0c;因为是IT行业&#xff0c;所以分享几个收集的比较实用而且酷炫的网站O(∩_∩)O~ 1.“Hello World”大全 网站一共收集了大约481种…

别去送si了!Selenium 与 Puppeteer 能被网站探测的几十个特征

很多人喜欢使用Selenium 或者 Puppeteer(Pyppeteer)通过模拟浏览器来编写爬虫&#xff0c;自以为这样可以不被网站检测到&#xff0c;想爬什么数据就爬什么数据。 但实际上&#xff0c;Selenium 启动的浏览器&#xff0c;有几十个特征可以被网站通过 JavaScript 探测到。Puppe…

Yii2.0 网站开发流程记录 反馈网页统计

2019独角兽企业重金招聘Python工程师标准>>> 这里不再多说&#xff0c;欢迎各位踊跃提意见&#xff0c;书籍第一部分草稿在&#xff1a; http://download.csdn.net/detail/bubifengyun/9541785 后续还在添加中。 谢谢。转载于:https://my.oschina.net/bubifengyun/b…

java 企业门户网站 源码 自适应响应式 freemarker 静态引擎 html5 SSM

前台&#xff1a; 支持五套模版&#xff0c; 可以在后台切换系统介绍&#xff1a;1.网站后台采用主流的 SSM 框架 jsp JSTL&#xff0c;网站后台采用freemaker静态化模版引擎生成html2.因为是生成的html&#xff0c;所以访问速度快&#xff0c;轻便&#xff0c;对服务器负担小3…

我的天,适合程序员的史上醉强“摸鱼”网站!!!

分享8个提升学习能力以及工作效率的神奇网站&#xff0c;谁用谁知道。 1、 IData-知识检索 大学生涯中大家都会用到各种文献资料往往都是从知网下载的&#xff0c;但如果不在学校或者学校没有购买知网权限&#xff0c;我们就需要一个新的文献下载工具——IData。 如果需要查询相…

Crazy!这个算法可视化网站真的是太棒了!

最近在学习算法的时候&#xff0c;发现一个非常不错的编程网站&#xff0c;特别适合学习算法&#xff0c;感官体验十分不错。 这个网站是「VisuAlgo」&#xff0c;它是一个算法可视化网站。 谁这么良心&#xff0c;免费搞这么优质的动画算法教程网站呢&#xff1f; 这个网站是…

使用LNMP架构部署动态网站环境。 Linux+PHP

1、配置php服务 &#xff08;1&#xff09;yasm源码包&#xff0c;其解压、编译、安装过程. &#xff08;2&#xff09;libmcrypt源码包&#xff0c;其解压、编译、安装过程. &#xff08;3&#xff09;libvpx源码包&#xff0c;其解压、编译、安装过程.libvpx源码包的后缀是.t…

程序员接私活月入2万?分享10个接私活的网站快收藏~

最近&#xff0c;在和身边的程序员聊天中&#xff0c;听不少朋友分享了自己接私活的经历&#xff0c;那收入真是让我“瞠目结舌” … 程序员A&#xff1a;我Java程序员&#xff0c;工作两年&#xff0c;月薪13K&#xff0c;私活20K。 程序员B&#xff1a;之前在单位上班&#…

网站title标题被改并被百度网址安全中心提醒的解决办法

国庆假日期间我们Sine安全接到众多网站站长求助网站标题被改导致在百度搜索中百度安全中心提醒被拦截,导致网站正常用户无法浏览网站被跳转到一些菠菜du博网站&#xff0c;而且很明显的一个特征就是在百度中搜索关键词的网站快照标题被修改成了一些与网站本身内容不相关的页面,…

github网站介绍、并使用git命令管理github(详细描述)

本章学习: 1)熟悉github网站2)通过git命令远程管理github,3)git命令使用ssh key密钥无需输入账号密码 1.首先我们来熟悉github网站 1.1 注册github 登录http://github.com/,然后点击sign up,来注册账户: 注册好了,以及验证邮箱后,然后进入github主页: 1.2点击start a project(启…

十周后,62%的PHP网站将运行在一个不受支持的PHP版本上

根据W3Techs的统计数据&#xff0c;目前约有78.9&#xff05;的网站使用PHP开发。\\但是&#xff0c;PHP 5.6.x的安全支持将在2018年12月31日正式停止&#xff0c;这标志着对古老的PHP 5.x分支版本的支持都将结束。\\也就是说&#xff0c;从明年开始&#xff0c;大约62&#xf…