《大型网站服务器容量规划》——3.4 通过回归方程规划容量

news/2024/5/9 21:06:11/文章来源:https://blog.csdn.net/weixin_34279579/article/details/90563475

本节书摘来自异步社区《大型网站服务器容量规划》一书中的第3章,第3.4节,作者: 郑钢 更多章节内容可以访问云栖社区“异步社区”公众号查看。

3.4 通过回归方程规划容量

回归方程是统计学里面的知识,是一种应用数学,通常属于数学专业同学研究的方向,运维人员很少用这种方法评估系统容量。下面花点时间引出回归方程在服务器容量规划中的应用,这也是本书介绍的重点。

容量规划的关键就是找出系统可承载的最大压力,然后根据极限压力再做部署规划,话说的容易,其实这往往是最困难的部分,因为它不像杯子那种容器,其容量是很直观的、可以提前确定。而服务器的性能是不好估量的,看不到摸不着,其容量只能通过实际测试才能得到。再说,我们所运维的系统可是由数以千计的机器组成的,这么多机器对系统的容量都起到决定性的作用,而且大多数情况下各个机器的性能是不一致的,一台机器的容量数据不能作为其他机器的标准,总之各服务器都有自己的极限容量。就像电池一样,有的电池容量较大,2600毫安,有的容量较小,2000毫安,因此,它们各自的续航时间是不同的。

容量评估就是用现在的数据预估未来的变化,用什么方法来预估呢?在正式回答之前,咱们还是用数据说话,先看几张监控图,也许大家就明白是怎么回事了,如图3.3所示。


6599a2bbc66e37575781f377e05a963eb76d0e4c

图3.3中显示的是流量与整体cpu_idle之间的关系,上面的access_log_pv是每分钟的访问日志,下面的cpu_idle是每分钟的cpu_idle,大体趋势上这两张图是对称的,这两张图表明:访问量越大,CPU利用率就越高。其实不说大家也会这么想,访问量越大,相应的CPU使用率当然就越高了。其实这是在正常时的情况,在某些情况下,访问量越大,CPU使用率越低,您信不?后面我们再讲。

下面再看图3.4,这是流量与流量之间的对比,注意并不是流量与CPU利用率。


<a href=https://yqfile.alicdn.com/8155a2df502d5c7375606d3de5af5dfd817ff2bf.png" >

一般的网站都会有前端模块和后端模块,前端模块则是实际的流量访问入口,图3.4中的下图lighttped_log是入口模块的访问日志,上面的图front_ms_log则是后端模块的访问日志,这两个日志的时间统计粒度是一样的,都是每分钟内的访问量。front_ms_log每分钟是15个左右,lighttped_log大概是每分钟1000个,虽然这两个日志数量级差别很大,但它们在总体上的趋势是一样的,front_ms_log随lighttpd_log的变化趋势而变化,因此,这两张图中的曲线依然相似。

以上的两张大图虽然一定程度上说明了问题,但似乎还不够明显,毕竟它们展现的是入口流量与整体CPU的关系或前后端模块的流量关系,也就是监控粒度是整体。下面再看图3.5,这里的监控粒度是模块,也就是某个Server,如nginx。

图3.5中,front_ms.log是php-cgi的日志,php-cgi_proc_CPU是php-cgi的使用率,从图3.5上看这两者的关系确实明朗了很多,几乎完全是一样的趋势。这是模块pv与模块消耗的CPU对比,针对的是模块。另外说明一下,由于系统中任何一个模块的CPU使用率、或者整机的CPU利用都是由其流量驱动的,入口流量又以一定的比例分流到后端,因此,几乎是系统内的任意流量都与系统内的任意模块CPU利用率之间保持某种关系,简而言之,未必是模块自身的流量与模块自身的CPU利用率之间才呈现关联关系,也许只是这种关联关系比较明显而已。有关这一点可以通过监控图来验证,把所有机器、模块的流量和CPU监控放到一起对比,会发现趋势线是类似的。


ee8752ae52d3160f3bf1dfee2fec238531e736e0

从上面3个大图来看,这些流量都是相关的,即保持某种依赖关系,流量越大,CPU消耗、后端流量等都跟着增加,如果把这一关系用函数y=f(x)来表示的话,其中的x表示流量,y便是CPU消耗或者后端流量等相关的因素,找出x与y的关系就是容量规划设计的思想。以上图中的监控信息可以用来生成样本数据,这种由已知的样本去预估未来的变化趋势,是典型的回归应用,容量规划的核心思想就是曲线拟合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_747388.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Chrome 不想让 HTTPS 网站通过 HTTP 下载文件

你是否经历过访问的明明是一个 HTTPS 网站&#xff0c;但是有时候站内下载东西使用的协议却是 HTTP&#xff0c;这其实存在安全隐患&#xff0c;现在 Chrome 不想让这样的事情发生。 ZDNet 报导&#xff0c;谷歌 Chrome 工程师正计划在 HTTPS 网站上默认禁止一些通过 HTTP 下载…

windows 2003和server 2008 取消对网站的安全检查/去除添加信任网站

2019独角兽企业重金招聘Python工程师标准>>> 服务器管理器->安全信息->配置IE ESC->管理员禁用->确定并重启浏览器 正常访问网站&#xff0c;提示如下&#xff1a; 转载于:https://my.oschina.net/guiguketang/blog/3037114

PHP开发网站到瓶颈了,技术上不知如何突破

2019独角兽企业重金招聘Python工程师标准>>> 推荐的一些牛逼的博客网站&#xff1a; 风雪之隅 看几个大公司的技术博客&#xff0c;学习一下一线的开发人员都在做什么&#xff0c;就差不多了腾讯大讲堂腾讯全端 AlloyTeam 团队点评美团技术团队蘑菇街技术博客 Nginx…

SEO终极算法(二)

上一篇我的文章《草根站长这一年用血的教训换来的SEO终极算法》受到了许多读者的争议。今天为了迎合读者迫切的需求&#xff0c;特意写了SEO终极算法(二)&#xff0c;希望给做SEO的朋友们能有一些启发。本篇文章比较基础常识性的SEO基础的问题我就不写了&#xff0c;只写比较有…

TP5实现支付宝电脑网站支付学习笔记

这两天在公司做一个小型WEB项目,需要有支付功能。第一次做支付宝的支付&#xff0c;踩了点小坑&#xff0c;还算顺利。激动的我赶紧记下实现的流程。第一步当然是在支付宝开放平台申请公钥私钥APPID等&#xff0c;支付宝关官方文档都有详细介绍&#xff0c;这里就省略。申请完了…

云服务器 ECS 建站教程:快速搭建 phpwind 论坛系统

快速搭建 phpwind 论坛系统phpwind 是采用 PHP MySQL 方式运行的开源社区程序。轻架构&#xff0c;高效率简易开发&#xff0c;帮助您快速搭建并轻松管理社区站点。phpwind 提供了 2 款完全不同的版本&#xff0c;分别是拥有成熟功能、海量插件支撑的 phpwind 稳定版&#xff…

记一次JavaWeb网站技术架构总结

俗话说的好&#xff0c;冰冻三尺非一日之寒&#xff0c;滴水穿石非一日之功&#xff0c;罗马也不是一天就建成的&#xff0c;当然对于我们开发人员来说&#xff0c;一个好的架构也不是一蹴而就的。 初始搭建 开始的开始&#xff0c;就是各种框架一搭&#xff0c;然后扔到Tomcat…

网站SSL安装配置

背景介绍&#xff1a;HTTPS&#xff0c;全称&#xff1a;Hyper Text Transfer Protocol over Secure Socket Layer,是通过SSL安全机制传输&#xff0c;保证网站数据不被窃听、冒充、篡改等安全风险&#xff0c;保证网站传输安全可靠&#xff0c;下面是通过nginx配置ssl模块记录…

【提权过程】嘉缘网站--提权,代理,内网渗透(针对445端口)

这篇是由上篇 【渗透过程】嘉缘网站--测试https://www.cnblogs.com/G-Shadow/articles/10964374.html之后的操作&#xff0c;文章包括了提权&#xff0c;HTTP代理及对内网的渗透 使用蚁剑连接上写入的一句话后&#xff0c;使用虚拟终端发现自己权限为最高权限可以执行任何操作 …

大型网站技术架构(五)网站高可用架构

2019独角兽企业重金招聘Python工程师标准>>> 网站的可用性&#xff08;Avaliability&#xff09;描述网站可有效访问的特性。 1、网站可用性的度量与考核 网站不可用时间&#xff08;故障时间&#xff09;故障修复时间点-故障发现&#xff08;报告&#xff09;时间点…

大型网站技术架构(四)网站的高性能架构

2019独角兽企业重金招聘Python工程师标准>>> 网站性能是客观的指标&#xff0c;可以具体体现到响应时间、吞吐量、并发数、性能计数器等技术指标。 1、性能测试指标 1.1 响应时间 指应用执行一个操作需要的时间&#xff0c;指从发出请求到最后收到响应数据所需要的时…

大型网站技术架构(八)网站的安全架构

2019独角兽企业重金招聘Python工程师标准>>> 从互联网诞生起&#xff0c;安全威胁就一直伴随着网站的发展&#xff0c;各种Web攻击和信息泄露也从未停止。常见的攻击手段有XSS攻击、SQL注入、CSRF、Session劫持等。 1、XSS攻击 XSS攻击即跨站点脚本攻击&#xff08;…

实现手机访问,自动跳转网站手机版

百度Site App的uaredirect.js实现手机访问&#xff0c;自动跳转网站手机版 以下为代码&#xff0c;可放置在网站foot底部文件&#xff0c;或者haead顶部文件&#xff0c;建议将代码放在网站顶部&#xff0c;这样可以实现手机访问立即跳转&#xff01; <script src"http…

通过webDAV来管理网站上的资源

WebDAV&#xff08;Web Distributed Authoring and Versioning&#xff09;扩展了HTTP.1.1通信协议的功能&#xff0c;他让具备适当权限的用户&#xff0c;可以直接通过浏览器、网上邻居来管理远程的webDAV文件夹内的文件&#xff0c;我们下面就来讲一下webDAV是实现。一、启用…

猫咪单独为某个网站添加Proxy

猫咪将overleaf网站添加到猫咪名单中&#xff0c;猫咪单独为某个网站添加猫咪 坑。暂时没有找到解决方案。 我想实现的效果是&#xff0c;打开一个网站&#xff0c;如果网站比较卡&#xff0c;就把这个网站添加到直联列表中。停止对它的猫咪。 方案1&#xff1a; 1、修改猫…

如何禁止自己的电脑访问某个网站?

如何禁止自己的电脑访问某个网站&#xff1f;BlockSite 方案1&#xff1a; https://blog.csdn.net/main_double/article/details/105613165 https://zh.wikihow.com/%E5%9C%A8%E7%94%B5%E8%84%91%E4%B8%8A%E5%B1%8F%E8%94%BD%E7%BD%91%E7%AB%99 操作了一大堆都是没用的&…

电商网站设计系列——促销码功能设计与思考

2019独角兽企业重金招聘Python工程师标准>>> 本文作者将会从三个方面讲述&#xff1a;如何设计电商网站的促销码功能呢&#xff1f;在设计过程中我们需要注意些什么呢&#xff1f; 国外电商网站中有一个东西叫做“促销码”&#xff0c;相当于国内电商的“优惠券”。…

大型网站架构系列:电商网站架构案例(3)

本文章是电商网站架构案例的第三篇&#xff0c;主要介绍数据库集群&#xff0c;读写分离&#xff0c;分库分表&#xff0c;服务化&#xff0c;消息队列的使用&#xff0c;以及本电商案例的架构总结。 6.5数据库集群&#xff08;读写分离&#xff0c;分库分表&#xff09; 大型网…

打开小猫咪之后,国内的网站打不开了,怎么办。原因是dns解析出了问题

打开小猫咪之后&#xff0c;国内的网站打不开了&#xff0c;怎么办。原因是dns解析出了问题 关闭远程dns解析功能即可&#xff0c;之前回答过该问题&#xff01; https://blog.csdn.net/Hodors/article/details/126922545?ops_request_misc%257B%2522request%255Fid%2522%25…