《大型网站服务器容量规划》——第3章 容量规划的常用方法3.1 通过监控规划容量...

news/2024/5/21 8:06:31/文章来源:https://blog.csdn.net/weixin_34220963/article/details/90563982

本节书摘来自异步社区《大型网站服务器容量规划》一书中的第3章,第3.1节,作者: 郑钢 更多章节内容可以访问云栖社区“异步社区”公众号查看。

第3章 容量规划的常用方法

3.1 通过监控规划容量

任何一家互联网公司都会有自己的运维系统,在运维系统之中,重中之重的是监控系统。

监控的方法有很多,最简单的就是利用一些系统命令,如用df命令来查看磁盘使用率,然后每天出报表,通过查看报表运维人员便监控到系统压力及容量,当逼近系统压力上限时,发出报警,提醒扩容。

但这种方法不能作为主要的监控手段,仅用来做辅助监控之用,毕竟监控是为了实时了解系统的状态。这方面都是用监控系统来完成,目前开源的监控系统有很多,如cacti、zabbix等,大多数监控系统都是以图表方式展示监控指标,如图3.1所示。


e6226a7c929cd14c823832da8315d2cd4cd641b1

大多数监控系统都是基于SNMP(Simple Network Management Protocol),即简单网络管理协议。SNMP是度量性能指标的通用标准,大部分网络设备和服务器设备都支持该协议,因此,我们的监控系统才能通过该协议获取到设备的监控指标。既然是“简单”网络管理协议(其实SNMP一点都不简单),这说明仅凭SNMP的话还是不能满足所有监控需求,因此,这些监控系统也支持自定义采集程序。

扩展一下,如果公司业务比较复杂,一般的开源监控系统无法满足需求的话,公司会开发出适合的监控系统。这通常是为满足自定义监控,自定义的监控一般包括。

(1)日志监控,从日志文件中匹配出关键字,统计相应的个数,比如统计状态码的个数,或者处理时间大于一定时间的个数。

(2)端口监控,探测端口是否存活,一般用来判断Server程序是否“健在”,但不是很可靠,有时候Server端口还占据着但已经无响应了,此时端口监控依然表示正常。

(3)语义监控,这种就相对可靠多了,它是模拟客户端向Server发送请求,然后Server给予响应的方式来监控。

(4)结构体监控,这种监控要与特定进程绑定到一起才行得通,也就是那个被监控的模块会处理这种结构体。

除此之外,还可以通过模拟用户单击的方式来监控,也就是模拟用户行为,这是最真实的监控,效果最好,但由于此类模拟程序是要捕捉网页中的dom标签元素,因此,只要网页改变,监控就要重新写,比较麻烦。

回到正题,在监控系统中我们都会设置报警阈值,在监控图中我们都会看到逼近报警阈值的紧迫程度。如果接近了阈值,运维人员便开始扩容。

扩容的前提是压力趋近于模块的极限,如某模块每秒最大处理的请求数(qps)是300个,当实际qps接近于250左右时就要考虑扩容了。如何判断模块已经接近了最大处理极限呢?一种方法是在程序的日志文件中增加请求处理时间的字段,这样针对每个请求的处理时间我们便清楚了,如果任何页面的处理时间太长的话就要考虑扩容了。这里所说的处理时间长度没有固定的大小,还是要和业务结合,如果该页面主要消耗CPU资源,在不考虑阻塞的情况下,该页面的处理时间就不应该太大,最大不超过几百毫秒,如果该页面功能和存储或外网相关,就会相对长一些,超过1秒是很正常的。

一般情况下我们也会把模块各种请求的处理数量或大于某值的请求统计出来,按分钟或更小的时间粒度在监控系统中绘图。如图3.2的MySQL的增、删、改、查和慢查询监控图所示。


c0dc4b50be4914de4e7d2f1420504742eb2227a0

除此之外,大多数模块都会有请求超时的设置,例如某模块设置了请求的最大处理时间是30秒,超过30秒的请求会在日志中写入报错信息,一般会有warning、error或fatal等关键字,我们可以在监控日志中匹配这些关键字来统计单位时间内因超时而报错的请求数,当达到某个极限值时就表示离扩容不远了。

为了将监控可视化,通常情况下也会把这类日志监控添加到监控系统中,同样,如果监控系统不支持这类监控的话,我们可以自己写监控程序,然后自己输出图像。一般开发语言中都有现成的图形函数可以调用,或者使用第三方工具,如可以利用rrdtool或者前端图形库highcharts、amcharts等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_777495.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ASP.NET 2.0网站专案同时使C#与VB.NET之技巧(新书连载)

ASP.NET 2.0网站专案同时使C#与VB.NET之技巧(新书连载)你知道专案ASP.NET 2.0网站要如何同时使用C#与VB.NET两种语言及多组件的技巧吗?节录自【圣殿祭司的ASP.NET 2.0专家技术手册】新书在以往VS.NET 2002及VS.NET 2003的Visual Studio工具本…

SEO编辑必看:撰写搜索引擎喜爱的标题

导读:非常有干货,百度站长平台刚发布了这篇篇文章,文章建议:1,标题字数控制在65个字节内,2,重要内容放在标题的最前面,3,添加与网页内容最相关的、用户更常用的、满足用户…

谷歌浏览器无法访问此网站怎么解决_搜狗浏览器看视频没有声音怎么办?教你三招解决此问题的方法...

平时无论是使用电脑进行工作、娱乐或是学习的时候,我们往往需要在电脑的浏览器当中,比如搜狗浏览器,输入我们疑问的问题,然后进行答案的查看。或者是输入我们想要看的影视剧,然后来进行观看。而有的小伙伴在使用搜狗浏…

wordpress怎么搜索别人_北风:史上最全wordpress建站攻略,无代码基础也能轻松搞定...

什么是执行力?就是特么的啥原理都不需要懂,只需要懂怎么做,然后按照步骤一个一个碾压过去,神挡杀神,佛挡杀佛。能做到这一点,就已经能超过很多人了。——北风作为一个零代码基础的小白,建站过程…

几十万的词如何用每页500词分页展示_如何做好SEO的内容更新 提高收录?

已知无用的伪原创手段《SEO实战密码》 中总结了6种内容作弊手段,这些都已经被百度识别了。无论是同义词替换还是简单在原来文章上做更改,都已经没有收录的几率。其中已经没有用的伪原创手段包括如下:1 更改(完全重写)标…

设计企业网站大纲_高端网站设计企业

成都御天程为您详细解读KUywim高端网站设计企业的相关知识与详情,因为互联网的开展趋势,很多企业都从线下中心转移到。很多服务商都搭建了用来推广服务商业务和展现服务商实力,但是很多企业搭建好后却没有重视用户体验,招致网站流…

提示框组件_爱了!这个网页气泡提示组件,让你的网站更炫酷!

网页设计师对 tooltips 鼠标经过提示效果应该不陌生,这种效果虽然可以直接用 css hover 来实现,但是如果想更友好的、更美观的效果,可能就要借助 JS 来实现。今天和大家分享的 Tippy.js 就是很不错的鼠标悬念插件,多种提示信息用法…

查网络计算机的网址,如何查询网站ip地址 怎样查看网站的ip地址方法

如何查询网站ip地址?相信不少电脑小白用户都学习查看网站的ip地址方法,通过CMD命令实现很简单,跟着装机之家学习一下怎样查看网站的ip地址方法吧!网站以装机之家官网为例:www.lotpc.com,我们来看看网站ip地…

实现基于LNMP的电子商务网站--小米商城

一、 环境准备:centos系统、yum源关闭selinux ,关闭防火墙二、 安装步骤:1. yum方式安装包yum install nginx mariadb-server php-mysql php-fpmsystemctl mariadb ss -ntl 查看端 3306 2.下载小米商城源码&#xff…

sumifs两个求和列如何计算_「sumifs」多条件求和函数Sumifs的用法 - seo实验室

sumifs在excle中多条件求和函数sumifs的用法如何使用?下面是小编为大家精心整理的关于多条件求和函数Sumifs的用法,希望能够帮助到你们。多条件求和函数Sumifs1如果我们要求和的条件很多,比如要求大于2018年4月30号(2018/4/30)的乒乓球的数量…

网站服务器是虚拟主机吗,网站服务器就是虚拟主机吗

网站服务器就是虚拟主机吗 内容精选换一换首先需要准备一台Linux系统的物理服务器作为镜像制作服务器(即宿主机),以及一台用于登录宿主机的本地Windows跳板机(物理服务器或虚拟机)。宿主机必须安装:vsftpd服务sshd服务vnc服务virt-manager工具kvm虚拟化软…

java源代码众筹网站_【JavaWeb项目】一个众筹网站的开发(三)第一个网页

一、bootstrap本项目采用bootstrap3使用bootstrap三步:1.导入jQuery2.导入bootstrap自己的css样式3.导入bootstrap自己的js文件bootstrap定义了大量的样式库,要使用样式,只要将元素的class指定为样式库中的值。二、第一个网页index.jsp和css等…

css3 修改checkbox disabled颜色_html5+css3网站建设、让网站布局更加灵活

随着网站建设技术在不断的发展、从以前的table布局再到css布局,为什么css会取代table呢?可能大家心中一直有这个疑问,html的发展大家有目共睹、因为其跨平台性的原因,深受开发人士的欢迎。网站建设好之后,后期能不能利…

能独立服务器的网站,独立服务器的优势有哪些?哪些网站更适合使用独立服务器...

在租用服务器时,我们经常会建议大家去使用独立的服务器。那么,独立服务器和其他的服务器的主要区别在哪呢?独立服务器是一个人独立使用的,市面上的虚拟主机是多人使用。所以,虚拟主机在综合性能上是比不上独立主机的,…

服务器文件扫描,网站目录文件扫描工具dirbuster

网站目录扫描的工具很多,最开始用的wwwscan 、御剑,甚至一些小扫描器自带的比如,椰树、北极熊用来用去,最终你还是会发现,一些个人写的工具真的都是渣渣要么后门,要么崩溃闪退,小白用用还是可以…

前端---网站优化之SEO!!!

网站优化 SEO是由英文Search Engine Optimization缩写而来, 中文意译为“搜索引擎优化”!SEO是指通过对网站进行站内优化、网站结构调整、网站内容建设、网站代码优化等)和站外优化,从而提高网站的关键词排名以及公司产品的曝光度。 简单的说…

python 网络教育-百度传课_哪些在线课程网站比较好,适合网上自学?

现在许多人都喜欢网上自学,比如需要考证的小伙伴,他们一般不会去报补习班,而是找一些免费在线课程网站,在网络上自学。那么哪些在线课程网站比较好?可能对于初次找在线课程网站的小伙伴来说比较迷茫,别担心&#xff0…

制作tomcat证书_网站要上HTTPS加密,申请证书太麻烦?Caddy可以帮你

你现在还在用HTTP吗,太过时了!chrome浏览器已经默认所有HTTP浏览器为不安全网站,如下图所示,头条号页面被标记为不安全:头条号页面被标记为不安全HTTPS的好处不用说,安全,还有逼格!有…

php 框架适合做google seo 吗_权哥《Google站长工具数据指南》新书发布

权哥今天开心地向大家公告:最适合外贸企业的seo工具书发布了,保证轻松易读,小白也能学会。因为权哥当初本来就是写给公司的小白实习生学习seo的。近年来,大量的外贸企业开始关注流量不能仅仅依赖于平台,而应该跳出平台…