扒网站工具 linux,wget 递归下载整个网站(网站扒皮必备)

news/2024/5/19 7:21:50/文章来源:https://blog.csdn.net/weixin_32911063/article/details/116784465

wget 递归下载整个网站(网站扒皮必备)

有时间看到别人网站的页面比较漂亮,就想给扒皮下来,学习学习。分享一个我常用网站扒皮命令wget

这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。

wget加上参数之后,即可成为相当强大的下载工具。

wget命令详解

wget -r -p -np -k http://xxx.com/xxx

-r, --recursive(递归) specify recursive download.(指定递归下载)

-k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)

-p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)

-np, --no-parent(不追溯至父级) don't ascend to the parent directory.

另外断点续传用-nc参数 日志 用-o参数

拿我自己的网站扒皮试一下吧

执行 wget -r -p -np -k http://www.phpernote.com/ 命令

6706a7d497d789b2710d10d2b79878ec.png

等网站递归下载完毕,你会发现你当前目录会有一个 www.phpernote.com/ 的目录

进入这个目录看一下

adbead2d99d6dca9fcb0a3a724ea2abc.png

熟练掌握wget命令,可以帮助你扒皮网站。

http://www.dengb.com/Linuxjc/1293538.htmlwww.dengb.comtruehttp://www.dengb.com/Linuxjc/1293538.htmlTechArticlewget 递归下载整个网站(网站扒皮必备) 有时间看到别人网站的页面比较漂亮,就想给扒皮下来,学习学习。分享一个我常用网站扒皮命令w...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_765383.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

16个时髦的扁平化设计+视觉滚差的网站模板

Persona – HTML5 Parallax Portfolio Theme 充满吸引力的一款网站模板,扁平化设计风格,动感的视差滚动效果。 在线演示 模板下载 Superb – Responsive One-Page Portfolio Superb 是一个基于 HTML5 & CSS3 的响应式单页作品集网站模板。 在线演…

2015年全球网站设计趋势

2019独角兽企业重金招聘Python工程师标准>>> 2015年已经到来!新的一年WEB前端网页设计会有那些变化呢,我们先分析一下明年会有哪些新趋势,以及去年的哪些设计趋势会得到延续和升华。 1.充满创意的布局方式 近几年的趋势也许都会…

从零开始编写自己的C#框架(25)——网站部署 【转】

服务器安全部署文档 目录1. 前言.. 3 2. 部署环境.. 3 2.1 服务器环境信息.. 3 3. 磁盘阵列配置.. 4 4. 安装操作系统.. 4 5. 安装软件.. 4 5.1 安装磁盘碎片整理程序.. 4 5.2 安装虚拟光盘.. 6 5.3 安装IIS. 6 5.4 …

html生成器_搭建博客、自己的小窝?快来看看这些开源静态网站生成器

作者:HelloGitHub-ChungZH相信很多人都想要搭建一个自己的博客或是给项目做文档网站。本文将要推荐的静态网站生成器(Static Site Generator, SSG),它做的事情就是把你的文档、内容(通常为 Markdown 文件)生…

如何指定网站内搜索关键字(借用已有搜索引擎)

目标:某个网站内,输入关键字搜索出相关东西 处境:这个网站开发者自己不去写搜索算法 解决方法:让微软的必应搜索引擎来做这件事,怎么弄呢,就是在必应搜索引擎页面里输入: xx关键字 site:xx网站 …

几个非常简单漂亮的手机版网页_手机网站和传统计算机网站之间的差异

PC网站最先进入到人们的视野,只要接触了电脑的人群,一般都会学会用电脑上网。近几年,手机网民数量呈现爆发式增长的态势,据有关数据显示,手机网民的数量已经超越了电脑网民的数量,手机已成为第一大上网终端…

万网免费主机wordpress快速建站教程-wordpress下载及安装

进入wordpress官网(http://cn.wordpress.org)下载最新的wordpress安装程序,下载完成后解压到任意电脑目录。解压完毕后,使用FTP管理工具上传安装文件至主机htdocs目录。这里使用的是FlashFXP。首先点击连接按钮,填上FT…

一个关于新闻逆转的记录及支持率网站

为什么80%的码农都做不了架构师?>>> 由于当今各种媒体为了抢夺网民视野,常常断章取义使得新闻的真实性大打折扣,常常一个新闻一天前跟一天后的道德观是相对的,看上去是好人的人变成了恶魔,看上去恶魔的人变…

[转]文件缓存的方式减少网站负载

Asp.net 缓存Cache功能已经是很常见的功能了,网络上面这种相关的文章也非常之多,我这里所要讲的缓存并不是.NET所提供的缓存,而是过通文件方式来存放的。这样可以很好的减少服务器资源。先看一下我做这个的缓存流程图:如上图所示&…

(转)提高网站速度的最佳实践

(转)提高网站速度的最佳实践 原文来自:http://www.space007.com/post/129.html 相信互联网已经越来越成为人们生活中不可或缺的一部分。ajax,flex等等富客户端的应用使得人们越加“幸福”地体验着许多原先只能在C/S实现的功能。比如Google机会已经把最基…

网站mysql分离_大型网站架构演进(5)数据库读写分离

在使用缓存后,使大部分的数据读操作访问都可以不通过数据库就能完成,但是仍有一部分读操作(包括未命中缓存的,和缓存过期的)和全部的写操作需要访问数据库,当网站的访问量继续增加后,数据库会因为负载压力过高导致成为…

基于PHP的读书分享网站ppt,基于Thinkphpcmf框架开发的网页微信分享自定义标题描述和图片...

之前做过关于《微信转发或分享朋友圈带缩略图、标题和描述的实现方法》的介绍,帮助不少站长实现网站链接分享至微信端自定义简介和图标,最近有一个后台基于Thinkphpcmf框架开发的站长联系到我,用我介绍的方法并没有实现自定义分享&#xff0c…

团购网站号称563人团购实则3人报名...

团购网站号称563人团购实则3人报名... 随着网购日益发达,一种以组织消费者一起购买商品或服务而获得折扣的“团购”网站如雨后春笋般涌入人们的视线。美容美发、餐饮娱乐、家居建材等都是此类网站上常见的团购内容。然而,日前市民李小姐参与团购后却被卖…

HTML日志抓取,如何通过网站日志查看百度蜘蛛抓取情况

我们做SEO都知道,百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。我们该如何查看百度蜘蛛的抓取情况…

【网站公告】新Web服务器上线

上次一台Web服务器中暑后,为了保证网站的稳定运行,并进一步提高网站访问速度,我们采购了两台强劲的Dell服务器。 今天,其中一台Web服务器已经部署完毕,正式投入运行。博客程序已运行于新服务器,如果大家发现…

一个网站的诞生- MagicDict未来予想図4 [表格的动态增加行和删除行,完整版]

首先,感谢 路过秋天 开源了他的系统,让园子里的童鞋有了新的研究方向,带动了园子的繁荣,拉动了园子的GDP。 昨天又花了一整天来做在线单词编辑器,动态表格的增加行和删除行的一些问题,基本算是搞明白了&…

div内容横排 html_计算机毕业设计中大学生个人网站案例html

点击上方“蓝字”,关注我们.案例介绍此作品为学生个人主页网页设计题材,代码为简单学生水平 DIV CSS布局制作,整个作品由主页、个人历程、兴趣爱好、学业成绩、联系我们共5页组成,作品下载后可使用任意HTML编辑软件(例如&#xff…

抓取某一个网站整站的记录

经常由于某些原因我们需要爬取某一个网站或者直接复制某一个站点,到网上找了很多工具进行测试,试了很多各有各的问题,最终选择了Teleport Ultra,用起来效果很好;具体的操作手册等东西就不在这里说了,网上搜…

网站中英文转换 php_Markdown 自动添加中英文空格

pangu「有研究顯示,打字的時候不喜歡在中文和英文之間加空格的人,感情路都走得很辛苦,有七成的比例會在 34 歲的時候跟自己不愛的人結婚,而其餘三成的人最後只能把遺產留給自己的貓。畢竟愛情跟書寫都需要適時地留白。與大家共勉之…

如何让sharepoint2010网站根据权限隐藏ribbon

项目要求让普通用户看不到“网站操作”,为了解决该问题,我找了好几篇博客,但都是sharepoint2007,按照sharepoint designer签出,签入,审批,发布。可能是sharepoint2007和sharepoint2010的区别&am…