李平:大型网站的灵魂——性能

news/2024/5/20 15:12:17/文章来源:https://blog.csdn.net/eddysoft126/article/details/84659352

在前一篇随笔 大型网站系统架构的演化中,介绍了大型网站的演化过程,期间穿插了一些技术和手段,我们可以从中看出一个大型网站的轮廓,但想要掌握设计开发维护大型网站的技术,需要我们一步一步去研究实践。所以我打算写一个系列,从理论到实践讲述大型网站的点滴,这也是一个共同学习的过程,希望自己能坚持下去。系列大概会分为两部分,理论和实践,理论部分尽量通俗易懂,也要讲一些细节。实践部分会抽取一些技术做实践,将方法、解决问题过程分享出来。本文将讲述大型网站中一个重要的要素,性能。

什么是性能

有人说性能就是访问速度快慢,这是最直观的说法,也是用户的真实体验。一个用户从输入网址到按下回车键,看到网页的快慢,这就是性能。对于我们来说,需要去挖掘这个过程,因为这决定我们怎么去做性能优化。

这中间发生了什么?

用户访问网站的整个流程:用户输入网站域名,通过DNS解析,找到目标服务器IP,请求数据经互联网达到目标服务器,目标服务器收到请求数据,进行处理(执行程序、访问数据库、文件服务器等)。处理完成,将响应数据又经互联网返回给用户浏览器,浏览器得到结果进行计算渲染显示给用户。

我们把整个过程,分为三段路径:

 

  • 第一段在用户和浏览器端,主要负责发出用户请求,以及接受响应数据进行计算渲染显示给用户;
  • 第二段在网络上,负责对请求数据、响应数据的传输;
  • 第三段在网站服务器端,负责对请求数据进行处理(执行程序、访问数据库、文件等),并将结果返回;

 

第一路径

第一路径花费的时间包括输入域名发起请求的时间和浏览器收到响应后计算渲染的时间。

输入域名发起请求,实质过程是:

 

  1. 用户在浏览器输入要访问的网站域名;
  2. 本地DNS请求网站授权的DNS服务器对域名进行解析,并得到解析结果即IP地址(并将IP地址缓存起来)。
  3. 向目标IP地址发出请求。

 

从这个过程我们可以看到,优化的地方主要是减少DNS解析次数,而如果用户浏览器设置了缓存,则再第二次访问相同域名的时候就不会去请求DNS服务器,直接用缓存中的IP地址发出请求。因此这个过程主要取决于浏览器的设置。现在主流的浏览器默认设置了DNS的预取功能(DNS Prefetch),当然你也可以主动告知浏览器我的网站需要做DNS预取:

 

[html] view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <meta http-equiv="x-dns-prefetch-control" content="on" />  
<meta http-equiv="x-dns-prefetch-control" content="on" />

 

浏览器将数据进行计算渲染的过程:

 

  1. 浏览器解析响应数据;
  2. 浏览器创建DOM树;
  3. 浏览器下载CSS样式,并应用到DOM树,进行渲染;
  4. 浏览器下载JS文件,开始解析执行;
  5. 显示给用户。

 

从这个过程,我们可以找出不少可以优化的地方。首先我们可以尽量控制页面大小,使得浏览器解析的时间更短;并且将多个CSS文件、JS文件文件合并压缩减少文件下载的次数和大小;另外注意将CSS放在页面前面,JS访问页面后面,这样便于页面首先能渲染出来,再执行js脚本,对于用户来说有更好的体验。最后我还可以设置浏览器缓存,下次访问时从缓存读取内容,减少http请求。

 

[html] view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <meta http-equiv="Cache-Control" content="max-age=5" />  
<meta http-equiv="Cache-Control" content="max-age=5" />

 

该代码说明了浏览器启用了缓存并在5秒内不会再次访问服务器。注意缓存的设置需要结合你的业务特性来适当配置。

以下是京东商城的HTML简图:

css样式放在html前面,并且进行了合并。

大多数的JS文件放在页尾。

第二路径

第二路径在网络上,花费的时间同样包括请求数据的传输时间和响应数据的传输时间,这个两个时间取决于数据传输的速度,这里我们要讲一个名词“带宽”。什么是带宽,我们经常说带宽10M,20M是什么意思?我的带宽20M,这意味着什么?我们知道带宽速度分为上行、下行速度,也就是上传和下载的速度。带宽20M对于用户来说则是下载速度20M(20×1024×1024比特率),换算成字节20M/8=2.5M。也就是说20M的带宽下载速度理论可达2.5M/s,而对于家庭用户而言上传速度一般比下载速度小的多,大约是不到十分之一。而对于网站服务器(企业用户)来说,则不然,一般上行速度等于下载速度。这也是运营商根据实际需求分配的,毕竟用户的主要需求是下载数据,而不是上传数据。

整个流程从传输方式看就是:用户发送请求数据(上传),网站服务器接受请求数据(下载),网站服务器返回响应数据(上传),用户接受响应数据(下载)。对于用户来说,上传数据是很小的(Url参数),而下载数据是较大的(响应数据);对于服务器来说,下载数据是很小的(url参数),上传数据是较大(响应数据)。理解了这个,我们可以解释为什么有时用户反映为什么自己的带宽足够,但打开某些网站仍然很慢,就是因为尽管用户的下载速度很快,但网站服务器的上传速度很慢,这就像一个抽水管和一个出水管,不管抽水管再大,但出水管很小,同样抽到的水量是有限的。了解了这个原理我们来看怎么提高数据传输的速度,首先用户的上传、下载速度我们是无法决定的,我们能决定的是网站服务器的上传、下载速度,所以我们可以做的是适当的增加服务器带宽(带宽是很贵的,盲目的增加只会增加不必要成本)。购买合适的带宽需要根据网站业务特性、规模以及结合运维人员的经验来选择。通常可以考虑的算法,即根据一次响应数据的大小,乘以PV数,除以对应的高峰时间段,从而大致估算出网站带宽的需求。

下面我们继续进一步研究第二路径:

上图表示用户访问网站服务器时网络的大致情况,从图上可以看出假设网站服务器从电信网络接入,而用户A作为电信的宽带用户,则可以通过电信骨干网快速的访问到网站服务器。用户B,用户C作为移动和联通用户需要通过运营商的互联互通经过较长路径才能访问到服务器。

针对这种情况,我们可以采取以下方法来优化:

 

  1. 在各运营商发达的地区的IDC(互联网数据中心,可以理解成机房)部署网站服务器,各运营商的用户即可通过各自的骨干网访问服务器。
  2. 购买代理服务,也就是原来联通用户需要通过联通骨干网——>联通互联互通路由器——>电信骨干网——>网站服务器的过程。通过代理服务,代理服务器直连到电信骨干网,访问网站服务器。
  3. 在主要地区城市购买CDN服务,缓存对应的数据,用户可先从最近的CDN运营商获取请求数据。

 

第三路径

第三路径主要是网站服务器内部处理的过程,当中包括执行程序、访问文件、数据库等资源。

这是对于我们来说最可以发挥的地方:

 

  • 使用缓存,根据需要使用本地缓存或分布式缓存;
  • 使用异步操作,这种方式不仅可以提高性能,也提高了系统的扩展性;
  • 代码优化;
  • 存储优化;

 

缓存

如果缓存数据较少,可以利用OSCache实现本地缓存:

当缓存数据过多时,利用Memcached实现分布式缓存:

Memcached实现分布式缓存,缓存服务器之间是互不通信的,也就是我们可以方便的通过增加Memcached服务器对系统进行扩展。

异步操作

使用同步请求的方式,在高并发的情况下,会对数据库造成很大的压力,也会让用户感觉响应时间过长。异步请求方式,则可以快速的对用户做出响应,而具体的数据库操作请求,则通过消息队列服务器发送给数据库服务器,做具体的插入操作。插入操作的结果则已其他方式通知客户端。例如一般在订票系统当中,出票行为就是异步完成,最终的出票结果会以邮件或其他方式告知用户。

代码优化

这里就不在详细描述,另一篇随笔《怎样编写高质量的java代码》对代码质量和风格做过大致的介绍,有兴趣可以看一下。

存储优化

大型网站中海量的数据读写对磁盘造成很大压力,系统最大的瓶颈还是在磁盘的读写。可以考虑使用磁盘阵列、分布式储存来改善存储的性能。

性能的指标和测试

上面通过解析用户访问网站的过程来思考怎么提高用户感知的性能,对于用户来言性能就是快和慢。但对于我们来说,不能这样简单描述,我们需要去量化他,用一些数据指标去衡量它。这里讲到几个名词:响应时间、并发量、吞吐量。

 

  • 响应时间:就是用户发出请求到收到响应数据的时间;
  • 并发量:就是系统同时能处理多少用户请求;
  • 吞吐量:就是单位时间内系统处理的请求数量;

 

为了通俗的了解这三个概念,我们以高速公路的收费站为例子:响应时间是指一辆车经过收费站的时间,也就是车辆从进入收费站、付钱、开闸、离开收费站的时间;并发量是指这个收费站同时能通行多少辆车,可以理解为收费站的出口数量。吞吐量是指:在一段时间内,这个收费站通往了多少了车。

这个例子不晓得恰不恰当。

对于性能测试来说,基本也是围绕这些方面来测试,下图说明了性能测试的过程:

左图表示响应时间和并发用户量的二维坐标图,从图上可以看出,并发用户量在一定量增加时,响应时间很短,并且没有太大的起伏,这表示系统目前处于日常运行期,可以很快处理用户请求(A点之前);随着并发量的增加,系统处于请求高峰期,但仍然可以有序的处理用户请求,响应时间较日常有所增加(A、B之间);当并发量增加到一定数量时,超过了系统的负载能力,系统处于濒临崩溃的边缘(B、C之间),响应时间严重过长,直到系统崩溃。

右图表示吞吐量与并发用户量的二维坐标图,可以看出,随着并发用户量的增加,吞吐量逐渐增加;在并发量到达一定量时,由于系统处理能力达到最大,吞吐量增加放缓;当并发量超过系统负载时(E点),系统处理能力开始下降,不能再请求增加的用户请求,吞吐量反而降低。

小结

本文通过用户访问网站的过程,分析了三个路径过程中提高性能的想法和手段,最后介绍了描述性能的指标,并对性能测试做了简要说明。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_870699.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

周末入手一台公测版M8,连夜为它改了网站,帆船书会M8版

周末入手一台公测版M8&#xff0c;用起来感觉非常好&#xff0c;我女朋友有台iPhone&#xff0c;我感觉M8跟iPhone相比各有千秋&#xff0c; 希望大家支持国货&#xff0c;相信魅族&#xff01; 我是帆船书会的站长&#xff0c;M8入手后我连夜修改帆船书会&#xff0c;改了个M8…

【docsify】为网站写一个说明文档

【docsify】为网站写一个说明文档 &#xff01;官方部署文档 全局安装 npm i docsify-cli -g初始化项目 在项目文件夹下&#xff0c;初始化 docsify init ./docs会生成三个文件 ./docs 下 index.html作为入口文件README.md作为主页.nojekyll防止 GitHub Pages 忽略以下…

Java开源建站工具

2011-08-12 09:22 | 4162次阅读 | 【已有12 条评论】发表评论 来源&#xff1a;阮一峰的网络日志 | 收藏到我的网摘 美国程序员Jon Scott Stevens&#xff0c;公布了他的创业公司所使用的开发工具清单 。 他的语言平台是Java&#xff0c;开发项目是一个网站&#xff08;还…

转:有了这些网站,英文论文再也不难写了(15个英文论文写作辅助网站介绍和使用技巧)

大家在写英文论文的时候&#xff0c;都会遇到这样一些情况&#xff1a;句子写不出来想找一个例句参考&#xff0c;想搜索一下单词的搭配和习惯用法、想核对自己写的句子是否正确等等。 下面给大家介绍的网站主要在写英文论文的时候&#xff0c;可以提供例句参考、单词搭配和用…

IIS - 自动申请、部署Let’s Encrypt的免费SSL证书(让网站实现HTTPS协议)

IIS - 自动申请、部署Let’s Encrypt的免费SSL证书&#xff08;让网站实现HTTPS协议&#xff09; 一、HTTPS 协议介绍 1&#xff0c;什么是 HTTPS 协议&#xff1f; HTTPS&#xff08;全称&#xff1a;Hyper Text Transfer Protocol over Secure Socket Layer&#xff09;&am…

React+flask 搭建网站---React 环境搭建

系统环境: mac 搭建过程: 1、安装node.js : 安装任何包时一定要取官网查看安装方法(因网络中每个人安装的环境和版本有差异,尽量安装官网指导进行安装).官网地址:https://nodejs.org/zh-cn/ 现在后,进行安装.安装完成后,进行后续操作. 2、安装React 创建应用的工具(脚…

小白学习React+flask 搭建网站-Flask 环境搭建

电脑系统: mac 安装过程如下: 1、新建文件夹用来存储需要创建的应用:(参照官网地址:http://flask.pocoo.org/docs/1.0/installation/) mkdir backend01 (backed01 是我创建的文件夹名称,这个名称可以自行定义).安装环境创建包:virtualenv virtualenv venv 2、创建环境:进…

网站开发工具、技术

前端开发 require.js 首先&#xff0c;加载的时候&#xff0c;浏览器会停止网页渲染&#xff0c;加载文件越多&#xff0c;网页失去响应的时间就会越长&#xff1b;其次&#xff0c;由于js文件之间存在依赖关系&#xff0c;因此必须严格保证加载顺序&#xff08;比如上例的1.…

网站首页抓取和收录情况分析(个人见解)

求职类网站的实效性比较重要&#xff0c;提供最新的职位信息&#xff0c;对网站和求职者都有帮助。我们网站的PR值还可以&#xff0c;但是采用的是静态首页&#xff0c;也就是更新的内容不会体现在首页上&#xff0c;那么搜索引擎对首页的蜘蛛爬行和更新都会比较慢。 下面是我们…

php+redis+python网站部署方案

1 采用原web总数据库&#xff0c;后端直接采用php。 2 采用原web总数据库&#xff0c;后端采用python/phpredis数据优化方案。 3 采用新的数据库&#xff0c;即将原有数据库拷贝&#xff0c;后端采用python/phpredis数据优化方案。 采用redis数据库可以大幅度提高查询性能。 部…

利用Python进行电商网站用户行为分析

电商网站用户行为分析 项目需求 1.用户整体购物情况怎样&#xff1f; 统计数据集中总的用户数&#xff0c;商品数&#xff0c;商品类别数&#xff0c;用户行为数。核心指标如PV&#xff0c;UV&#xff0c;跳出率&#xff0c;复购率&#xff0c;留存率等分别是多少? 2.用户…

win7 IIS7 发布网站 出现 处理程序“PageHandlerFactory-Integrated”在其模块列表中有一个错误

windows7下发布web项目需要安装IIS,当安装完以后,web程序已经映射到了本地IIS上,运行出现如下错误提示 处理程序“PageHandlerFactory-Integrated”在其模块列表中有一个错误模块“ManagedPipelineHandler” 原因: vs2010默认的是4.0框架&#xff0c;4.0的框架是独立的CLR&…

UI应遵循的三大网站设计原则

触摸优先设计、响应式设计、移动优先设计是UI设计师设计网站应遵循的三大原则&#xff0c;以使网站最大范围地适应各种设备。外文《Designing The Well-Tempered Web》中详细阐述了这三大原则。CSDN对该文进行了编译&#xff0c;内容如下&#xff1a; 随着技术的进化&#xff…

如何构建高扩展性网站?

阅读目录 主要内容化简方程分布工作横向扩展设计使用正确的工具不要做重复的工作积极利用缓存从错误中吸取教训数据库原则容错设计与故障控制避免或分发状态异步通信和消息总线其他原则参考 本篇通过阅读《高扩展性网站的50条原则》&#xff0c;总结出以下内容。 一方面博主没有…

利用压缩网页来提升网站浏览速度

转至 &#xff1a;http://blog.csdn.net/joliny/article/details/2124344 在线查询&#xff1a;http://tool.chinaz.com/Gzips 本文主要介绍如何通过对页面进行压缩从而节省网站的带宽以及提升用户的访问速度。 网站的访问速度是由多个因素所共同决定的&#xff0c;这些因素例…

机器学习:K-近邻算法(二)约会网站配对效果

目录 K-近邻算法实战(二)&#xff1a;约会网站配对效果判断 实战 1.背景介绍 2.准备数据&#xff1a;数据分类 3.分析数据&#xff1a;数据可视化 4.准备数据&#xff1a;数据归一化 5.测试算法&#xff1a;验证分类器 6.使用算法&#xff1a;构建完整可用系统 K-近邻算法实…

前端布局,最如何合理布局最底下的公司和网站信息

如何让公司和网站信息始终布局在页面的最下方&#xff0c;之前试过多种方式&#xff0c;特别是用固定定位的方法&#xff0c;很难达到满意的效果。 后来多次尝试后得出&#xff0c;这块还是有窍门 首先父盒子要设置相对定位&#xff0c;并且设置页面的高度&#xff08;也就是说…

VS.NET2013发布网站的时候去掉.cs文件(预编译)

原帖地址&#xff1a;http://blog.sina.com.cn/s/blog_6f72ff900102vcbp.html VS2013在WIN8下扁平的UI和我今天锈垢的大脑&#xff0c;让找这个设置找了好半天&#xff01;&#xff01;&#xff01; OK&#xff0c;言归正传。 在要发布的网站上右键&#xff0c;选择"发布…

一步步构建大型网站架构

之前我简单向大家介绍了各个知名大型网站的架构&#xff0c;MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型&#xff0c;我们可以从中获取很多有关网站架构方面的知识&#xff0c;看了之后你会发现你原来的想法很可能…

复制文字需要登录的网站如何跳过登录

复制文字需要登录的网站如何跳过登录 网页复制类型js代码使用说明 网页复制类型 文章展示的网页&#xff0c;根据可复制性&#xff0c;我将其分成三类&#xff1a; 文字可复制&#xff1a;没有任何文字复制的限制文字可复制但需要登录&#xff1a;选中文字后复制时&#xff0…