php 网站克隆,如何快速克隆一个网站

news/2024/5/20 14:52:28/文章来源:https://blog.csdn.net/weixin_39821035/article/details/115625104

今天来说一个实用的工具:网站克隆。这样的功能对于技术人员来说,不算什么大的功能,大家可以用N种办法来实现,各有各的奇技淫巧。今天主要介绍的是A哥的克隆工具curlMulti。借用这个功能,非技术人员也可以快速的克隆整个站点。

工具链接:

工具特点:

抓取网站的各项资源html\Css\Js\RAR压缩文件等

并行抓取,抓取速度快的惊人

傻瓜式操作流程

Mac演示,mac自带了php,所以整体操作非常简单

a40d903f0a2f

下载v2.3.3版本

2:准备工作

a40d903f0a2f

打开文件

修改两行代码:

a40d903f0a2f

Paste_Image.png

正常情况,改网址就ok。如果需要克隆的站很大很大,需要在第一行加代码:

ini_set('memory_limit', '2048M');

3:执行克隆

打开终端

a40d903f0a2f

打开终端1

a40d903f0a2f

打开终端2

在终端执行如下操作:

右键site_clone1.php文件,”显示简介“,如图选中文本, 复制(Ctrl+c)

a40d903f0a2f

找到路径

在终端输入: "cd ",然后Ctrl+v粘贴刚才复制的内容,回车 (输入字符不带双引号)

我的终端是这样的,可以做为参考:

a40d903f0a2f

Paste_Image.png

在终端输入:

php site_clone1.php

到这里,克隆已经开始了。谨记,终端窗口不要关闭。(如果想让关闭窗口后继续克隆,请联系我)

如果要克隆的网站比较小,如小说站,半小时就可以搞定(每秒克隆100+页面毫无压力)

网站存放目录

a40d903f0a2f

网站目录

双击index.html就可以打开已经克隆下来的网站。

附:如果想要更快的克隆,如下操作:

a40d903f0a2f

修改并发数

可以自己感受一下改成500的效果,估计局域网中正在打游戏的同学就要开骂了,哈哈!好吧,我估计不会有人想测试500并发的效果,因为局域网真会卡死。但是呢,如果真要测试500并发,那需要在终端多执行一行命令:

ulimit -n 1000

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_814771.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一些很有趣的网站

1,360度高清晰无死角可任意放大缩小的网站,让你站在难以企及的视角观察壮美绝伦的风光! (温馨提示:看久了会感觉头晕哦,点击图片上的直升飞机可以体验上帝视角) http://www.airpano.com/ 2&…

jsoup php网站,使用Jsoup实现爬虫技术的方法介绍

本篇文章给大家带来的内容是关于使用Jsoup实现爬虫技术的方法介绍,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。1.Jsoup简述Java中支持的爬虫框架有很多,比如WebMagic、Spider、Jsoup等。今天我们使用Jsoup来实…

delphi tabsheet多标签自适应宽度_#自适应SEO#方案

最近负责的两个网站都遇到了移动适配问题:一个是发现pc端有排名的很多是移动端的url,一个是因为技术省事301配置导致首页被降权。如何解决pc端有排名的很多是移动端的url这个问题?如何让蜘蛛知道移动端是移动端呢?网站需要做哪些配置&#xf…

qtplaintextedit如何删除内容_教你如何通过外贸网站内容审核优化谷歌SEO效果

Welcome to Worldsou!根据Google Trends的数据显示,在过去五年中内容营销的热度正在急剧增长。但虽然热度激增,但相对应技术水平进步的速度却相对缓慢。新兴趋势带来的问题是,营销人员需要一段时间才能更好的去使用它们。研究表示&#xff0c…

php websocket 客户端_php只能做网站?基于swoole+websocket开发双向通信应用

前言众所周知,PHP用于开发基于HTTP协议的网站应用非常便捷。而HTTP协议是一种单向的通信协议,只能接收客户端的请求,然后响应请求,不能主动向客户端推送信息。因此,一些实时性要求比较高的应用,如实时聊天、…

halcon 将数据保存到excel_使用selenium登录网站并爬取数据保存到excel

使用selenium模拟登录到网站后,利用requests爬取数据,用bs4解析数据,用xlwt保存到excel。自定义了2个函数:getData()用于获取数据,使用for循环获取多个页面的数据,解析后的数据保存到列表中;sav…

华为服务器管理卡网页打不开,华为路由器登录网站打不开怎么办?

问:华为路由器的登录网站打不开怎么办?答:华为路由器的默认登录地址是:192.168.3.1。正常情况下,电脑/手机连接到华为路由器的网络后,在浏览器中输入192.168.3.1,就可以打开登录页面。如果你在浏…

使用LXD搭建Web网站

欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 本文由独木桥先生 发表于云社区专栏 介绍 Linux的容器是Linux的一组进程,通过使用Linux内核功能与系统隔离。它是一个类似于虚拟机的构造,但它的更轻量级。您可以在同一台服务器上轻…

使用了 vue 的网站

目前我所知道的,使用了 vue 的网站如下: 手机搜狐 http://m.sohu.com/limit 哔哩哔哩 https://www.bilibili.com/ 又拍云 https://www.upyun.com/ 掘金 https://juejin.im/ 简书: https://www.jianshu.com/ 智联招聘 https://www.zhaopin.com/ 高德地图 API https://lbs.a…

Flask项目之手机端租房网站的实战开发(三)

说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 接着上一篇博客继续往下写 :https://blog.csdn.net/qq_41782425/article/details/85623829 目录 一丶关于在项目中循环导入的问题 二丶日…

前端学习笔记 day20 使用fullpage插件完成购物网站(也可以做成广告)

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>购物网站</title> <!--采用fullpage.js分屏插件--><!--引入初始化css文件 fullpage.css文件 自己写的css文件--><link rel"…

【Github】cloudflare+gitPages+解析域名定制自己的网站

Github Pages是通过我们网站托管和发布的公开网页 本文就以简单图文描述介绍部署自己的Github Pages 步骤一&#xff1a;Github网站注册自己的账号 网站&#xff1a;https://github.com 步骤二&#xff1a;新建repository 步骤三&#xff1a;clone这个项目到本地 这里不详细…

十年后,我又开始研究SEO了

2009年的时候&#xff0c;我就小打小闹式地要创业了&#xff0c;其实就是和同学在北京阜成门开了一家特产店。但我们的想法不止在这个店&#xff0c;有更大的目标&#xff0c;目前也不便在这里展开了。反正当时我就注意到了SEO&#xff0c;即搜索引擎优化。通俗地说&#xff0c…

网站无法解选中以及复制——解决方案

禁止选中的,一般是用到了CSS的属性: user-select:none; 那么只需要打开网页, 按F12或者ctrlshifti打开开发者工具 点击箭头 再点击要复制的段落 从左边的style中找到如下语句&#xff1a; 取消所有的勾 再找到下面的语句&#xff0c;这是设置鼠标指针类型&#xff0c;直接取…

java用户接口的模块,【笔记3-用户模块】从0开始 独立完成企业级Java电商网站开发(服务端)...

数据表结构设计关系设计为什么不用外键&#xff1f;分库分表有外键会非常麻烦&#xff0c;清洗数据也很麻烦。数据库内置触发器也不适合采用。查业务问题的后悔药——时间戳create_time 数据创建时间update_time 数据更新时间可以用于查询业务&#xff0c;主要要存储datetime类…

WebMatrix教程(一) (关注Microsoft 的最新武器:建立你的第一个WebMatrix网站)

“除非你睡着了或刚刚从一个长假回来&#xff0c;你应该已经注意到了&#xff0c;…&#xff0c;微软重新进入到了高效率开发者’的圈子中。” – Scott Willhite – Director of Community Programs from DotNetNuke 微软是这样定义WebMatrix -- 一个全新的网络开发工具&#…

微软网站提供的8本英文原版书电子版

微软网站提供了8本英文原版书电子版。您可以到以下地址找到这8本书&#xff0c;进行免费的下载。 http://blogs.msdn.com/b/microsoft_press/archive/2011/03/03/ebooks-list-of-our-free-books.aspx?utm_contentem-orm-newsletters-msp-april-2011&utm_campaignNewslette…

php靶机网站,JIS-CTF靶机 Kioptrix靶机渗透

前言JIS靶机以拿到5个flag为止&#xff0c;本文攻击的靶机为kioptrix level1 以拿到root权限为止。靶机下载/搭建&#xff1a;靶机1&#xff1a;https://pan.baidu.com/s/1kt9dMb423DZhIKXObfbwTw靶机2&#xff1a;http://www.kioptrix.com/dlvm/Kioptrix_Level_1.rar开始&…

如果你是12306网站架构师,你会如何设计网站的软件架构和硬件系统架构?

今年火车票网上售票的情况大家都见到了&#xff0c;如果让你来设计该订票网站&#xff0c;你会如何设计才能应对如此大规模以及高并发的情况呢&#xff1f; 邵辉 13 票 806 列车在线订票系统的业务逻辑比较简单&#xff0c;不用多说。可能的瓶颈有两个&#xff0c;一个是车次和…

设计师必备的25套漂亮的网站 LOGO 设计模板

在网络时代&#xff0c;你可以充分使用你的才华与创造力获得成功。在网站设计中&#xff0c;有一个非常重要东西&#xff0c;那就是网站的标志&#xff08;LOGO&#xff09;&#xff0c;标志的设计必须有创意&#xff0c;您的网站访问者才会被吸引。今天这篇文章我一组令人眼花…