大型网站的灵魂——性能

news/2024/5/20 14:52:14/文章来源:https://blog.csdn.net/kuyuyingzi/article/details/44034385

前言

    在前一篇随笔《大型网站系统架构的演化》中,介绍了大型网站的演化过程,期间穿插了一些技术和手段,我们可以从中看出一个大型网站的轮廓,但想要掌握设计开发维护大型网站的技术,需要我们一步一步去研究实践。所以我打算写一个系列,从理论到实践讲述大型网站的点滴,这也是一个共同学习的过程,希望自己能坚持下去。系列大概会分为两部分,理论和实践,理论部分尽量通俗易懂,也要讲一些细节。实践部分会抽取一些技术做实践,将方法、解决问题过程分享出来。

本文将讲述大型网站中一个重要的要素,性能。

什么是性能

    有人说性能就是访问速度快慢,这是最直观的说法,也是用户的真实体验。一个用户从输入网址到按下回车键,看到网页的快慢,这就是性能。对于我们来说,需要去挖掘这个过程,因为这决定我们怎么去做性能优化。

这中间发生了什么?


    用户访问网站的整个流程:用户输入网站域名,通过DNS解析,找到目标服务器IP,请求数据经互联网达到目标服务器,目标服务器收到请求数据,进行处理(执行程序、访问数据库、文件服务器等)。处理完成,将响应数据又经互联网返回给用户浏览器,浏览器得到结果进行计算渲染显示给用户。

我们把整个过程,分为三段路径:

1、第一段在用户和浏览器端,主要负责发出用户请求,以及接受响应数据进行计算渲染显示给用户;

2、第二段在网络,负责对请求数据、响应数据传输

3、第三段在网站服务器端,负责对请求数据进行处理(执行程序、访问数据库、文件等),并将结果返回;

第一路径

    第一路径花费的时间包括输入域名发起请求的时间浏览器收到响应后计算渲染的时间

输入域名发起请求,实质过程是:

1、用户在浏览器输入要访问的网站域名;

2、本地DNS请求网站授权的DNS服务器对域名进行解析,并得到解析结果即IP地址(并将IP地址缓存起来)。

3、向目标IP地址发出请求。

    从这个过程我们可以看到,优化的地方主要是减少DNS解析次数,而如果用户浏览器设置了缓存,则再第二次访问相同域名的时候就不会去请求DNS服务器,直接用缓存中的IP地址发出请求。因此这个过程主要取决于浏览器的设置。现在主流的浏览器默认设置了DNS的预取功能(DNS Prefetch),当然你也可以主动告知浏览器我的网站需要做DNS预取:

<meta http-equiv="x-dns-prefetch-control" content="on" />

浏览器将数据进行计算渲染的过程:

1、浏览器解析响应数据;

2、浏览器创建DOM树;

3、浏览器下载CSS样式,并应用到DOM树,进行渲染;

4、浏览器下载JS文件,开始解析执行;

5、显示给用户。

    从这个过程,我们可以找出不少可以优化的地方。首先我们可以尽量控制页面大小,使得浏览器解析的时间更短;并且将多个CSS文件、JS文件文件合并压缩减少文件下载的次数和大小;另外注意将CSS放在页面前面,JS访问页面后面,这样便于页面首先能渲染出来,再执行js脚本,对于用户来说有更好的体验。最后我还可以设置浏览器缓存,下次访问时从缓存读取内容,减少http请求。

<meta http-equiv="Cache-Control" content="max-age=5" />

该代码说明了浏览器启用了缓存并在5秒内不会再次访问服务器。注意缓存的设置需要结合你的业务特性来适当配置。

第二路径

    第二路径在网络上,花费的时间同样包括请求数据的传输时间响应数据的传输时间这个两个时间取决于数据传输的速度,这里我们要讲一个名词“带宽”。什么是带宽,我们经常说带宽10M,20M是什么意思?我的带宽20M,这意味着什么?我们知道带宽速度分为上行、下行速度,也就是上传和下载的速度。带宽20M对于用户来说则是下载速度20M(20×1024×1024比特率),换算成字节20M/8=2.5M。也就是说20M的带宽下载速度理论可达2.5M/s,而对于家庭用户而言上传速度一般比下载速度小的多,大约是不到十分之一。而对于网站服务器(企业用户)来说,则不然,一般上行速度等于下载速度。这也是运营商根据实际需求分配的,毕竟用户的主要需求是下载数据,而不是上传数据

    整个流程从传输方式看就是:用户发送请求数据(上传),网站服务器接受请求数据(下载),网站服务器返回响应数据(上传),用户接受响应数据(下载)。对于用户来说,上传数据是很小的(Url参数),而下载数据是较大的(响应数据);对于服务器来说,下载数据是很小的(url参数),上传数据是较大(响应数据)。理解了这个,我们可以解释为什么有时用户反映为什么自己的带宽足够,但打开某些网站仍然很慢,就是因为尽管用户的下载速度很快,但网站服务器的上传速度很慢,这就像一个抽水管和一个出水管,不管抽水管再大,但出水管很小,同样抽到的水量是有限的。了解了这个原理我们来看怎么提高数据传输的速度,首先用户的上传、下载速度我们是无法决定的,我们能决定的是网站服务器的上传、下载速度,所以我们可以做的是适当的增加服务器带宽(带宽是很贵的,盲目的增加只会增加不必要成本)。购买合适的带宽需要根据网站业务特性、规模以及结合运维人员的经验来选择。通常可以考虑的算法,即根据一次响应数据的大小,乘以PV数,除以对应的高峰时间段,从而大致估算出网站带宽的需求。

下面我们继续进一步研究第二路径:


    上图表示用户访问网站服务器时网络的大致情况,从图上可以看出假设网站服务器从电信网络接入,而用户A作为电信的宽带用户,则可以通过电信骨干网快速的访问到网站服务器。用户B,用户C作为移动和联通用户需要通过运营商的互联互通经过较长路径才能访问到服务器

针对这种情况,我们可以采取以下方法来优化:

1、在各运营商发达的地区的IDC(互联网数据中心,可以理解成机房)部署网站服务器,各运营商的用户即可通过各自的骨干网访问服务器

2、购买代理服务,也就是原来联通用户需要通过联通骨干网——>联通互联互通路由器——>电信骨干网——>网站服务器的过程。通过代理服务,代理服务器直连到电信骨干网,访问网站服务器。

2、在主要地区城市购买CDN服务,缓存对应的数据,用户可先从最近的CDN运营商获取请求数据。

第三路径

第三路径主要是网站服务器内部处理的过程,当中包括执行程序、访问文件、数据库等资源

这是对于我们来说最可以发挥的地方:

1、使用缓存,根据需要使用本地缓存或分布式缓存;

2、使用异步操作,这种方式不仅可以提高性能,也提高了系统的扩展性;

3、代码优化

4、存储优化

缓存

如果缓存数据较少,可以利用OSCache实现本地缓存:


当缓存数据过多时,利用Memcached实现分布式缓存:


Memcached实现分布式缓存,缓存服务器之间是互不通信的,也就是我们可以方便的通过增加Memcached服务器对系统进行扩展。

异步操作


    使用同步请求的方式,在高并发的情况下,会对数据库造成很大的压力,也会让用户感觉响应时间过长。异步请求方式,则可以快速的对用户做出响应,而具体的数据库操作请求,则通过消息队列服务器发送给数据库服务器,做具体的插入操作。插入操作的结果则已其他方式通知客户端。例如一般在订票系统当中,出票行为就是异步完成,最终的出票结果会以邮件或其他方式告知用户。

代码优化

这里就不在详细描述,另一篇随笔《怎样编写高质量的java代码》对代码质量和风格做过大致的介绍,有兴趣可以看一下。

存储优化

大型网站中海量的数据读写对磁盘造成很大压力,系统最大的瓶颈还是在磁盘的读写。可以考虑使用磁盘阵列分布式储存来改善存储的性能。

性能的指标和测试

    上面通过解析用户访问网站的过程来思考怎么提高用户感知的性能,对于用户来言性能就是快和慢。但对于我们来说,不能这样简单描述,我们需要去量化他,用一些数据指标去衡量它。这里讲到几个名词:响应时间、并发量、吞吐量

响应时间:就是用户发出请求到收到响应数据的时间;

并发量:就是系统同时能处理多少用户请求;

吞吐量:就是单位时间内系统处理的请求数量;

    为了通俗的了解这三个概念,我们以高速公路的收费站为例子:响应时间是指一辆车经过收费站的时间,也就是车辆从进入收费站、付钱、开闸、离开收费站的时间;并发量是指这个收费站同时能通行多少辆车,可以理解为收费站的出口数量。吞吐量是指:在一段时间内,这个收费站通往了多少了车。

这个例子不晓得恰不恰当。

对于性能测试来说,基本也是围绕这些方面来测试,下图说明了性能测试的过程:


    左图表示响应时间和并发用户量的二维坐标图,从图上可以看出,并发用户量在一定量增加时,响应时间很短,并且没有太大的起伏,这表示系统目前处于日常运行期,可以很快处理用户请求(A点之前);随着并发量的增加,系统处于请求高峰期,但仍然可以有序的处理用户请求,响应时间较日常有所增加(A、B之间);当并发量增加到一定数量时,超过了系统的负载能力,系统处于濒临崩溃的边缘(B、C之间),响应时间严重过长,直到系统崩溃。

    右图表示吞吐量与并发用户量的二维坐标图,可以看出,随着并发用户量的增加,吞吐量逐渐增加;在并发量到达一定量时,由于系统处理能力达到最大,吞吐量增加放缓;当并发量超过系统负载时(E点),系统处理能力开始下降,不能再请求增加的用户请求,吞吐量反而降低。

小结

    本文通过用户访问网站的过程,分析了三个路径过程中提高性能的想法和手段,最后介绍了描述性能的指标,并对性能测试做了简要说明。

 

参考资料:

《海量运维运营规划》

《大型网站技术架构》

《构建高性能web站点》

原文连接:http://www.cnblogs.com/leefreeman/p/3998757.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_751656.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

那些你可能需要的音乐聚合网站

我平常用网易云来听音乐 http://music.163.com/ &#xff0c;网易云除了歌好听&#xff0c;评论更有故事。之前已经写过网易云音乐了&#xff0c;有兴趣看看之前的文章那些你可能不知道的网易云音乐奇技淫巧可惜周杰伦的大部分歌曲网易没有版权&#xff0c;还好我保存了一份杰伦…

那些有意思的网站

最近微博上发现一个狗屁不通文章生成器&#xff0c;试了下&#xff0c;有点意思&#xff0c;接着又发现了不少类似有意思的网站&#xff0c;正好做个整理分享下。狗屁不通文章生成器写文章没有思路&#xff0c;来教你一本正经的胡说八道https://suulnnka.github.io/BullshitGen…

那些有趣的网站

之前分享过那些有意思的网站 &#xff0c;这里继续分享一波&#xff0c;也许你用得上。福利单词一边背单词一边看妹子的网站&#xff0c;用电脑打开&#xff0c;配合ctrlw 关闭新窗口&#xff0c;不知不觉就背了百来个词了 https://easychen.gitee.io/foxdict/工资计算器简单、…

那些好玩的生成器网站

2019 年时间不多了&#xff0c;还有6天就彻底告别2019进入2020了。这张图片通过网站 https://c.yonghuigj.com/cx3/2088/ 生成的&#xff0c;是不很应景&#xff0c;下面整理几个好玩的生成器网站。Logo 生成器一个简单的 Logo 生成器&#xff0c;可以让你快速制作 Pornhub、Yo…

那些有意思的网站彩蛋

苏生不惑第 88 篇原创文章很多电影会在结尾留下彩蛋&#xff0c;比如电影《无问西东》片尾的一段七分钟读懂中国大师的彩蛋&#xff0c;还有去年周杰伦新歌《说好不哭》&#xff0c;知乎网友挖出的一系列彩蛋 。在一些网站和app里也会隐藏一些彩蛋&#xff0c;第一次见的时候还…

那些有意思的网站(二)

苏生不惑第 98 篇原创文章之前写过 那些有意思的网站 和 那些有趣的网站 &#xff0c;这里继续分享那些有意思的网站。苹果档案这是一个苹果公司档案网站&#xff08;非官方&#xff09;&#xff0c;收集了苹果公司从成立以来的所有广告、海报和宣传材料 https://www.applearch…

分析你的浏览器历史记录,看看你喜欢访问哪些网站

苏生不惑第 103 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;及时看最新文章。浏览器都有访问历史记录&#xff0c;Chrome 浏览器点击右上角。进入 chrome://history/ 可以看到你访问过的所有网页。除了本地记录&#xff0c;谷歌还帮你保存在云端&#xff0c;前提是你…

那些好玩的生成器网站(二)

苏生不惑第105 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前写过 那些好玩的生成器网站 &#xff0c;这里继续整理些好玩的生成器网站。生成小瓶子最近微博上的话题 #小瓶子涂鸦大赛#很火。小瓶子的状态代表你对事物喜好的程度&#xff0c;喜…

如何搞定某些网站不让复制文字

苏生不惑第121 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。浏览某些网站的时候&#xff0c;看到一段不错的话想复制下来&#xff0c;结果竟然要登录&#xff0c;甚至你都选择不了文字&#xff0c;因为被禁用了&#xff0c;下面就分享几种解决方…

那些好玩的网站

苏生不惑第122 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过那些有意思的网站那些有意思的网站&#xff08;二&#xff09;那些好玩的生成器网站那些好玩的生成器网站&#xff08;二&#xff09;这里继续分享那些有好玩的网站。色差辨…

那些好玩的网站(二)

苏生不惑第126 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过 那些好玩的网站 &#xff0c;这是第2篇。假装 Windows 升级模拟各种系统升级的画面&#xff0c;上班摸鱼的时候boss快过来了赶紧升级下 http://fakeupdate.net/经典的win7更…

那些好用的无版权免费图片网站

苏生不惑第128 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。平常搜图片一般直接在谷歌搜&#xff0c;可能一不小心就侵权了&#xff0c;这里分享些好用的无版权免费图片网站。unsplash这个共享摄影的网站比较知名,该网站声称有超过110000名特约摄…

那些有趣的网站(二)

苏生不惑第136篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过 那些有趣的网站 &#xff0c;这是第2篇&#xff0c;其他有意思的网站在文章开头的专辑里。互联网公司薪酬查询https://xiguajob.com/ 可查各大公司不同职级对应薪酬。国外也…

那些有趣的网站系列(三)

苏生不惑第146篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过 那些有趣的网站 &#xff0c;那些有趣的网站&#xff08;二&#xff09;&#xff0c;这是第3篇&#xff0c;其他有意思的网站在文章开头的专辑里。烂片排行榜华语影坛历史上…

这个网站堪称宝藏,收藏起来吧

苏生不惑第160 篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。关于有趣实用的网站之前分享过很多&#xff1a;那些有趣的网站那些有趣的网站&#xff08;二&#xff09;那些有趣的网站系列&#xff08;三&#xff09;那些你可能用得上的在线办公神…

那些有趣的网站系列(四)

苏生不惑第165篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过 那些有趣的网站 &#xff0c;那些有趣的网站&#xff08;二&#xff09;&#xff0c;那些有趣的网站系列&#xff08;三&#xff09;&#xff0c;这是系列第4篇&#xff0c…

那些有趣的网站系列(五)

苏生不惑第173篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过 那些有趣的网站 &#xff0c;那些有趣的网站&#xff08;二&#xff09;&#xff0c;那些有趣的网站系列&#xff08;三&#xff09;&#xff0c;那些有趣的网站系列&#…

宝藏网站系列:这个网站号称万能

苏生不惑第177篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过宝藏网站 https://www.heji.ltd/ 这个网站堪称宝藏&#xff0c;收藏起来吧 &#xff0c;今天分享的是宝藏网站系列之万能命令https://wanneng.run/cn/ ,它将各种高质量的在线…

宝藏网站系列:浏览器书签共享平台

苏生不惑第180篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过宝藏网站 这个网站堪称宝藏&#xff0c;收藏起来吧 &#xff0c;宝藏网站系列&#xff1a;这个网站号称万能 &#xff0c;今天分享的是宝藏网站系列之浏览器书签共享平台 htt…

那些有趣的网站系列(六)

苏生不惑第183篇原创文章&#xff0c;将本公众号设为星标&#xff0c;第一时间看最新文章。之前分享过那些有趣的网站那些有趣的网站&#xff08;二&#xff09;那些有趣的网站系列&#xff08;三&#xff09;那些有趣的网站系列&#xff08;四&#xff09;那些有趣的网站系列&…