[转]李平:大型网站的灵魂——性能

news/2024/5/11 17:58:37/文章来源:https://blog.csdn.net/greemran/article/details/84681594

这篇文章,可以对才入换联网,还没形成整体概念的人,提供一些基础入门,特别从请求开始到结束部分,了解了解 还是不错的。

原文地址:http://www.csdn.net/article/2014-09-30/2821940

 

什么是性能

有人说性能就是访问速度快慢,这是最直观的说法,也是用户的真实体验。一个用户从输入网址到按下回车键,看到网页的快慢,这就是性能。对于我们来说,需要去挖掘这个过程,因为这决定我们怎么去做性能优化。

这中间发生了什么?

用户访问网站的整个流程:用户输入网站域名,通过DNS解析,找到目标服务器IP,请求数据经互联网达到目标服务器,目标服务器收到请求数据,进行处理(执行程序、访问数据库、文件服务器等)。处理完成,将响应数据又经互联网返回给用户浏览器,浏览器得到结果进行计算渲染显示给用户。

我们把整个过程,分为三段路径:

 

  • 第一段在用户和浏览器端,主要负责发出用户请求,以及接受响应数据进行计算渲染显示给用户;
  • 第二段在网络上,负责对请求数据、响应数据的传输;
  • 第三段在网站服务器端,负责对请求数据进行处理(执行程序、访问数据库、文件等),并将结果返回;

 

第一路径

第一路径花费的时间包括输入域名发起请求的时间和浏览器收到响应后计算渲染的时间。

输入域名发起请求,实质过程是:

 

  1. 用户在浏览器输入要访问的网站域名;
  2. 本地DNS请求网站授权的DNS服务器对域名进行解析,并得到解析结果即IP地址(并将IP地址缓存起来)。
  3. 向目标IP地址发出请求。

 

从这个过程我们可以看到,优化的地方主要是减少DNS解析次数,而如果用户浏览器设置了缓存,则再第二次访问相同域名的时候就不会去请求DNS服务器,直接用缓存中的IP地址发出请求。因此这个过程主要取决于浏览器的设置。现在主流的浏览器默认设置了DNS的预取功能(DNS Prefetch),当然你也可以主动告知浏览器我的网站需要做DNS预取:

 

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. <meta http-equiv="x-dns-prefetch-control" content="on" />  

 

浏览器将数据进行计算渲染的过程:

 

  1. 浏览器解析响应数据;
  2. 浏览器创建DOM树;
  3. 浏览器下载CSS样式,并应用到DOM树,进行渲染;
  4. 浏览器下载JS文件,开始解析执行;
  5. 显示给用户。

 

从这个过程,我们可以找出不少可以优化的地方。首先我们可以尽量控制页面大小,使得浏览器解析的时间更短;并且将多个CSS文件、JS文件文件合并压缩减少文件下载的次数和大小;另外注意将CSS放在页面前面,JS访问页面后面,这样便于页面首先能渲染出来,再执行js脚本,对于用户来说有更好的体验。最后我还可以设置浏览器缓存,下次访问时从缓存读取内容,减少http请求。

 

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. <meta http-equiv="Cache-Control" content="max-age=5" />  

 

该代码说明了浏览器启用了缓存并在5秒内不会再次访问服务器。注意缓存的设置需要结合你的业务特性来适当配置。

以下是京东商城的HTML简图:

css样式放在html前面,并且进行了合并。

大多数的JS文件放在页尾。 

第二路径

第二路径在网络上,花费的时间同样包括请求数据的传输时间和响应数据的传输时间,这个两个时间取决于数据传输的速度,这里我们要讲一个名词“带宽”。什么是带宽,我们经常说带宽10M,20M是什么意思?我的带宽20M,这意味着什么?我们知道带宽速度分为上行、下行速度,也就是上传和下载的速度。带宽20M对于用户来说则是下载速度20M(20×1024×1024比特率),换算成字节20M/8=2.5M。也就是说20M的带宽下载速度理论可达2.5M/s,而对于家庭用户而言上传速度一般比下载速度小的多,大约是不到十分之一。而对于网站服务器(企业用户)来说,则不然,一般上行速度等于下载速度。这也是运营商根据实际需求分配的,毕竟用户的主要需求是下载数据,而不是上传数据。

整个流程从传输方式看就是:用户发送请求数据(上传),网站服务器接受请求数据(下载),网站服务器返回响应数据(上传),用户接受响应数据(下载)。对于用户来说,上传数据是很小的(Url参数),而下载数据是较大的(响应数据);对于服务器来说,下载数据是很小的(url参数),上传数据是较大(响应数据)。理解了这个,我们可以解释为什么有时用户反映为什么自己的带宽足够,但打开某些网站仍然很慢,就是因为尽管用户的下载速度很快,但网站服务器的上传速度很慢,这就像一个抽水管和一个出水管,不管抽水管再大,但出水管很小,同样抽到的水量是有限的。了解了这个原理我们来看怎么提高数据传输的速度,首先用户的上传、下载速度我们是无法决定的,我们能决定的是网站服务器的上传、下载速度,所以我们可以做的是适当的增加服务器带宽(带宽是很贵的,盲目的增加只会增加不必要成本)。购买合适的带宽需要根据网站业务特性、规模以及结合运维人员的经验来选择。通常可以考虑的算法,即根据一次响应数据的大小,乘以PV数,除以对应的高峰时间段,从而大致估算出网站带宽的需求。

下面我们继续进一步研究第二路径:

上图表示用户访问网站服务器时网络的大致情况,从图上可以看出假设网站服务器从电信网络接入,而用户A作为电信的宽带用户,则可以通过电信骨干网快速的访问到网站服务器。用户B,用户C作为移动和联通用户需要通过运营商的互联互通经过较长路径才能访问到服务器。

针对这种情况,我们可以采取以下方法来优化:

 

  1. 在各运营商发达的地区的IDC(互联网数据中心,可以理解成机房)部署网站服务器,各运营商的用户即可通过各自的骨干网访问服务器。
  2. 购买代理服务,也就是原来联通用户需要通过联通骨干网——>联通互联互通路由器——>电信骨干网——>网站服务器的过程。通过代理服务,代理服务器直连到电信骨干网,访问网站服务器。
  3. 在主要地区城市购买CDN服务,缓存对应的数据,用户可先从最近的CDN运营商获取请求数据。

 

第三路径

第三路径主要是网站服务器内部处理的过程,当中包括执行程序、访问文件、数据库等资源。

这是对于我们来说最可以发挥的地方:

 

  • 使用缓存,根据需要使用本地缓存或分布式缓存;
  • 使用异步操作,这种方式不仅可以提高性能,也提高了系统的扩展性;
  • 代码优化;
  • 存储优化;

 

缓存

如果缓存数据较少,可以利用OSCache实现本地缓存:

 

当缓存数据过多时,利用Memcached实现分布式缓存: 

Memcached实现分布式缓存,缓存服务器之间是互不通信的,也就是我们可以方便的通过增加Memcached服务器对系统进行扩展。 

异步操作 

使用同步请求的方式,在高并发的情况下,会对数据库造成很大的压力,也会让用户感觉响应时间过长。异步请求方式,则可以快速的对用户做出响应,而具体的数据库操作请求,则通过消息队列服务器发送给数据库服务器,做具体的插入操作。插入操作的结果则已其他方式通知客户端。例如一般在订票系统当中,出票行为就是异步完成,最终的出票结果会以邮件或其他方式告知用户。

代码优化

这里就不在详细描述,另一篇随笔《怎样编写高质量的java代码》对代码质量和风格做过大致的介绍,有兴趣可以看一下。

存储优化

大型网站中海量的数据读写对磁盘造成很大压力,系统最大的瓶颈还是在磁盘的读写。可以考虑使用磁盘阵列、分布式储存来改善存储的性能。

性能的指标和测试

上面通过解析用户访问网站的过程来思考怎么提高用户感知的性能,对于用户来言性能就是快和慢。但对于我们来说,不能这样简单描述,我们需要去量化他,用一些数据指标去衡量它。这里讲到几个名词:响应时间、并发量、吞吐量。

 

  • 响应时间:就是用户发出请求到收到响应数据的时间;
  • 并发量:就是系统同时能处理多少用户请求;
  • 吞吐量:就是单位时间内系统处理的请求数量;

 

为了通俗的了解这三个概念,我们以高速公路的收费站为例子:响应时间是指一辆车经过收费站的时间,也就是车辆从进入收费站、付钱、开闸、离开收费站的时间;并发量是指这个收费站同时能通行多少辆车,可以理解为收费站的出口数量。吞吐量是指:在一段时间内,这个收费站通往了多少了车。

这个例子不晓得恰不恰当。

对于性能测试来说,基本也是围绕这些方面来测试,下图说明了性能测试的过程:

左图表示响应时间和并发用户量的二维坐标图,从图上可以看出,并发用户量在一定量增加时,响应时间很短,并且没有太大的起伏,这表示系统目前处于日常运行期,可以很快处理用户请求(A点之前);随着并发量的增加,系统处于请求高峰期,但仍然可以有序的处理用户请求,响应时间较日常有所增加(A、B之间);当并发量增加到一定数量时,超过了系统的负载能力,系统处于濒临崩溃的边缘(B、C之间),响应时间严重过长,直到系统崩溃。

右图表示吞吐量与并发用户量的二维坐标图,可以看出,随着并发用户量的增加,吞吐量逐渐增加;在并发量到达一定量时,由于系统处理能力达到最大,吞吐量增加放缓;当并发量超过系统负载时(E点),系统处理能力开始下降,不能再请求增加的用户请求,吞吐量反而降低。

小结

本文通过用户访问网站的过程,分析了三个路径过程中提高性能的想法和手段,最后介绍了描述性能的指标,并对性能测试做了简要说明。

原文链接: 大型网站的灵魂——性能(责编/仲浩)

关于作者:李平,目前在一家支付企业从事开发、设计等工作。喜欢高效而愉快的工作氛围,支持敏捷,支持重构,抵制加班、抵制外包。熟悉JavaEE、SOA、敏捷开发、移动支付、分布式架构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_868425.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

提高网站速度的最佳实践

今天偶尔在网上看到了这篇文章&#xff0c;http://developer.yahoo.com/performance/rules.html&#xff0c;是Yahoo 人写的《提高网站速度的最佳实践》共有 14 条&#xff0c;是英文的&#xff0c;本来想翻译一下&#xff0c;google 了一下&#xff0c;已经有翻译版了。贴出来…

提高网站速度的最佳实践

今天偶尔在网上看到了这篇文章&#xff0c;http://developer.yahoo.com/performance/rules.html&#xff0c;是Yahoo 人写的《提高网站速度的最佳实践》共有 14 条&#xff0c;是英文的&#xff0c;本来想翻译一下&#xff0c;google 了一下&#xff0c;已经有翻译版了。贴出来…

大型网站架构演变和知识体系

网站在经过长时间的积累&#xff0c;架构也在慢慢的演变以适应网站的发展。 架构演变第一步&#xff1a;物理分离webserver和数据库 最开始&#xff0c;由于某些想法&#xff0c;于是在互联网上搭建了一个网站&#xff0c;这个时候甚至有可能主机都是租借的&#xff0c;但由于这…

网站返回503

网站需要临时维护&#xff0c;这是个经常性的问题&#xff0c;在这期间必须关闭网站一小段时间&#xff0c;而在这段维护的期间内&#xff0c;我们应该做些什么&#xff0c;我们应该向搜索引擎返回什么样的header信息&#xff1f;200&#xff1f;404&#xff1f;500&#xff1f…

Android应用实例之---使用Linkify + 正则式区分微博文本链接及跳转处理如同新浪微博Android版的应用上,当我们点击微博文本上的链接会自动跳转界面,或网站链接跳转网页浏览,或邮箱链接

http://www.cnblogs.com/ryan1012/archive/2011/07/12/2104087.html 如同新浪微博Android版的应用上&#xff0c;当我们点击微博文本上的链接会自动跳转界面&#xff0c;或网站链接跳转网页浏览&#xff0c;或邮箱链接跳转邮箱服务&#xff0c;或电话号码链接跳转拨号界面。And…

JavaScript中的mouseover与mouseenter,mouseout和mouseleave的区别

1、mouseover与mouseenter mouseover事件&#xff1a;不论鼠标指针穿过被选元素或其子元素&#xff0c;都会触发 mouseover 事件。 mouseenter事件&#xff1a;只有在鼠标指针穿过被选元素时&#xff0c;才会触发 mouseenter 事件。 简单写个例子&#xff1a; [html] view pl…

大型网站的灵魂——性能

大型网站的灵魂——性能 前言 在前一篇随笔《大型网站系统架构的演化》中&#xff0c;介绍了大型网站的演化过程&#xff0c;期间穿插了一些技术和手段&#xff0c;我们可以从中看出一个大型网站的轮廓&#xff0c;但想要掌握设计开发维护大型网站的技术&#xff0c;需要我们一…

为Symfony2和Redis正名,基于PHP的10亿请求/周网站打造

摘要&#xff1a;Octivi当下网站每周请求数已达10亿次&#xff0c;然而出人意料的是&#xff0c;他们仍然使用着Symfony2这个通常被认为低性能的PHP Framework。除此之外&#xff0c;他们更使用了Redis作为主要储存。 【编者按】如果你还在Symfony2和Redis使用中存在这样的错误…

自学改变一生,6个适合年轻人自学的网站,知乎超100万人推荐

在学校或者工作中&#xff0c;觉得自己的能力毫无提升&#xff0c;怎么办&#xff1f;在做好自己本职工作&#xff0c;不妨多去学习一些知识&#xff0c;让自己的技能更加强&#xff0c;收入更上一层&#xff0c;何乐不为&#xff1f; 第一个&#xff1a;慕课网 第二个&#x…

一些网站设计原型图

看到了一些非常棒的网站产品的原型图设计&#xff0c;分享给大家看看&#xff0c;任何一个伟大的互联网产品设计都是从这些看似简单&#xff0c;粗糙的线框图开始的。 有时候用纸和笔来进行快速的创意描绘会得到更迅捷的成果&#xff0c;你可以在一个简单的模式中速写你的结构设…

把HTTPS网站中的安全证书导入到java中的cacerts证书库

第一步&#xff1a;下载证书 第二步&#xff1a;导入证书 以管理员身份运行任务 C:\Windows\system32>keytool -importcert -alias COMODO_RSA_Extended_Validation_Secure_Server_CA -keystore "C:\Program Files\Java\jdk-11.0.8\lib\security\cacerts" -fil…

爱奇艺视频网站数据清洗整理和结论研究

1、数据清洗 - 去除空值import numpy as np import pandas as pd data pd.read_csv(C:/Users/HP/Desktop/爱奇艺视频数据.csv,engine python)def data_cleaning(df):for col in df.columns:if df[col].dtype object:df[col].fillna(缺失数据,inplace True) #fillna方法填充…

ASP.NET 2.0网站专案同时使C#与VB.NET之技巧

转自&#xff1a;http://blog.csdn.net/dotnetcool/archive/2006/09/07/1189291.aspx 在以往VS.NET 2002及VS.NET 2003的Visual Studio工具本身不支援多个组件档&#xff08;Assembly&#xff09;&#xff0c;也就是专案编译后只会产生一个.dll组件&#xff0c;而一个组件只允许…

从零打造视频播放网站(2)-后端接口设计篇

后端接口设计篇 环境:接口文档:说明:测试: 环境: centos7系统php7.0框架:thinkphp5.0服务器:nginx 接口文档: http://39.106.207.193:8000/doc 说明: 返回类型均为 JSON数据格式 测试: http://39.106.207.193:8000/play/group/2337?fromkkm3u8 [{"id": 1, &q…

从零打造视频播放网站(1)-数据采集篇

数据采集篇 1.数据库设计:2.环境:3.创建项目:4. settings.py5.爬虫编写:6.增量式爬虫:7.启动爬虫:8.总结: 1.数据库设计: source表(播放源): idnamedescparseshow自增id播放源名称播放源描述解析url展示名 video表: idtitledesctypeareathumbyeardirectorintroductionactors…

黑马就业班(02.JavaWeb+项目实战\16.JavaWeb综合项目实战手把手学习)旅游网站项目(发现案例有问题!已修正)+浏览器页面代码调试(视频45-16.00)

本文对应项目&#xff1a;目录&#xff1a;G:\idea_java_project 下的travel项目本文参考资料《综合案例笔记》笔记 1、准备工作 项目导入 将资料的空travel项目导入IDEA中。&#xff08;注意导入项目的方法&#xff0c;选择的是pom.xml文件&#xff0c;参考视频1-4.00&#…

缓存、动态页面静态化、网站优化

一、缓存 缓存(Cache)技术在软件开发过程中有着广泛的用途, 它对提升软件性能和改善客户体验有很大帮助. 所谓缓存, 是指将那些经常重复的操作结果暂时存放起来, 在以后的执行过程中, 只要使用前面的暂存结果即可. 缓存技术在日常生活中随处可见, 就拿排队买票来说吧: 买票时需…

vs2008开发wap网站(一)

http://www.cnblogs.com/3stones/archive/2009/01/05/1351969.html 首先新创建个项目&#xff0c;打开VS2008&#xff0c;新建个网站项目&#xff0c;我们添加新项时会发现以前在vs2003或vs2005中的“移动Web窗体”项没有了&#xff0c;下图为vs2003和2005中的。 vs2008中就没…

关于spring 获取不到网站上的xsd的处理记录

前两天做一个项目还好好的&#xff0c;今天突然报出这个错误 cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element mvc:annotation-driven 应该是xml文件找不到相应的xsd了&#xff0c;这时候我的springmvc.xml的头部是这么…

创建网站快捷方式

直接托那个图标就可以了