《大型网站技术架构》读书笔记四:瞬时响应之网站的高性能架构

news/2024/5/21 4:08:49/文章来源:https://blog.csdn.net/weixin_33866037/article/details/86053690

此篇已收录至《大型网站技术架构》读书笔记系列目录贴,点击访问该目录可获取更多内容。

一、网站性能测试

(1)性能测试指标:①响应时间;②并发数;③吞吐量;④性能计数器;

(2)性能测试方法:①性能测试;②负载测试;③压力测试;④稳定性测试;

(3)性能优化策略:

  ①性能分析:检查请求处理各个环节的日志,分析哪个环节响应时间不合理,检查监控数据分析影响性能的因素;

  ②性能优化:Web前端优化,应用服务器优化,存储服务器优化;

二、Web前端性能优化

(1)浏览器访问优化:

  ①减少http请求:因为http是无状态的,每次请求的开销都比较昂贵(需要建立通信链路、进行数据传输,而服务器端对于每个http请求都需要启动独立的线程去处理);减少http的主要手段是合并CSS、合并JS、合并图片(CSS精灵,利用偏移定位image);

  ②使用浏览器缓存:设置http头中Cache-Control和Expires属性;

  ③启用压缩:可以对html、css、js文件启用Gzip压缩,可以达到较高的压缩效率,但是压缩会对服务器及浏览器产生一定的压力;

  ④CSS放页面最上面,JS放页面最下面:浏览器会在下载完全部CSS之后才开始对整个页面进行渲染,因此最好将CSS放在页面最上面;而浏览器在加载JS后会立即执行,有可能会阻塞整个页面,造成页面显示缓慢,因此最好将JS放在页面最下面;

  ⑤减少Cookie传输:一方面,太大的Cookie会严重影响数据传输;另一方面,对于某些静态资源的访问(如CSS、JS等)发送Cookie没有意义;

(2)CDN加速:

  CDN(内容分发网络)仍然是一个缓存,它将数据缓存在离用户最近的地方,便于用户以最快速度获取数据。即所谓的“网络访问第一跳”,如下图所示:

CDN

  CDN只将访问频度很高的热点内容(例如:图片、视频、CSS、JS脚本等访问频度很高的内容)进行缓存,可以极大地加快用户访问速度,减少数据中心负载。

(3)反向代理:

  反向代理服务器位于网站机房,代理网站Web服务器接收Http请求,对请求进行转发,如下图所示:

  反向代理服务器具有以下功能:

  ①保护网站安全:任何来自Internet的请求都必须先经过代理服务器;

  ②通过配置缓存功能加速Web请求:减轻真实Web服务器的负载压力;

  ③实现负载均衡:均衡地分发请求,平衡集群中各个服务器的负载压力;

三、应用服务器性能优化

(1)分布式缓存:

PS:网站性能优化第一定律:优先考虑使用缓存优化性能。缓存是指将数据存储在相对较高访问速度的存储介质中(如内存),以供系统进行快速处理响应用户请求。

  ①缓存本质是一个内存Hash表,数据以(Key,Value)形式存储在内存中。

  ②缓存主要用来存放那些读写比很高、很少变化的数据,如商品的类目信息、热门商品信息等。这样,应用程序读取数据时,先到缓存中取,如缓存中没有或失效,再到数据库中取出,重新写入缓存以供下一次访问。因此,可以很好地改善系统性能,提高数据读取速度,降低存储访问压力

  ③分布式缓存架构:一方面是以以JBoss Cache为代表的互相通信派;另一方面是以Memcached为代表的互不通信派;

  JBoss Cache需要将缓存信息同步到集群中的所有机器,代价比较大;而Memcached采用一种集中式的缓存集群管理,缓存与应用分离部署,应用程序通过一致性Hash算法选择缓存服务器远程访问缓存数据,缓存服务器之间互不通信,因而集群规模可以轻易地扩容,具有良好的伸缩性。

  Memcached由两个核心组件组成:服务端(ms)和客户端(mc),在一个memcached的查询中,mc先通过计算key的hash值来确定kv对所处在的ms位置。当ms确定后,客户端就会发送一个查询请求给对应的ms,让它来查找确切的数据。因为这之间没有交互以及多播协议,所以 memcached交互带给网络的影响是最小化的。

(2)异步操作:

  ①使用消息队列将调用异步化,可改善网站的扩展性,还可改善网站性能;

  ②消息队列具有削峰的作用->将短时间高并发产生的事务消息存储在消息队列中,从而削平高峰期的并发事务;

PS:任何可以晚点做的事情都应该晚点再做。前提是:这个事儿确实可以晚点再做。

(3)使用集群:

  ①在高并发场景下,使用负载均衡技术为一个应用构建多台服务器组成的服务器集群;

  ②可以避免单一服务器因负载压力过大而响应缓慢,使用户请求具有更好的响应延迟特性

  ③负载均衡可以采用硬件设备,也可以采用软件负载。商用硬件负载设备(例如出名的F5)成本通常较高(一台几十万上百万很正常),所以在条件允许的情况下我们会采用软负载,软负载解决的两个核心问题是:选谁、转发,其中最著名的是LVS(Linux Virtual Server)。

PS:LVS是四层负载均衡,也就是说建立在OSI模型的第四层——传输层之上,传输层上有我们熟悉的TCP/UDP,LVS支持TCP/UDP的负载均衡。

LVS的转发主要通过修改IP地址(NAT模式,分为源地址修改SNAT和目标地址修改DNAT)、修改目标MAC(DR模式)来实现。有关LVS的详情请参考:http://www.importnew.com/11229.html

(4)代码优化:

  ①多线程:使用多线程的原因:一是IO阻塞,二是多CPU,都是为了最大限度地利用CPU资源,提高系统吞吐能力,改善系统性能;

  ②资源复用:目的是减少开销很大的系统资源的创建和销毁,主要采用两种模式实现:单例(Singleton)和对象池(Object Pool)。例如,在.NET开发中,经常使用到的线程池,数据库连接池等,本质上都是对象池。

  ③数据结构:在不同场合合理使用恰当的数据结构,可以极大优化程序的性能。

  ④垃圾回收:理解垃圾回收机制有助于程序优化和参数调优,以及编写内存安安全的代码。这里主要针对Java(JVM)和C#(CLR)一类的具有GC(垃圾回收机制)的语言。

四、存储性能优化

(1)机械硬盘 还是 固态硬盘?

  ①机械硬盘:通过马达驱动磁头臂,带动磁头到指定的磁盘位置访问数据。它能够实现快速顺序读写,慢速随机读写

  ②固态硬盘(又称SSD):无机械装置,数据存储在可持久记忆的硅晶体上,因此可以像内存一样快速随机访问

  在目前的网站应用中,大部分应用访问数据都是随机的,这种情况下SSD具有更好的性能表现,但是性价比有待提升(蛮贵的,么么嗒)。

(2)B+树 vs LSM树

  ①传统关系型数据库广泛采用B+树,B+树是对数据排好序后再存储,加快数据检索速度。

PS:目前大多数DB多采用两级索引的B+树,树的层次最多三层。因此可能需要5次磁盘访问才能更新一条记录(三次磁盘访问获得数据索引及行ID,一次数据文件读操作,一次数据文件写操作,终于知道数据库操作有多麻烦多耗时了)

  ②NoSQL(例如:HBase)产品广泛采用LSM树:

  具体思想是:将对数据的修改增量保持在内存中,达到指定的大小限制后将这些修改操作批量写入磁盘不过读取的时候稍微麻烦,需要合并磁盘中历史数据和内存中最近的修改操作,所以写入性能大大提升,读取时可能需要先看是否命中内存,否则需要访问较多的磁盘文件。

  LSM树的原理是:把一棵大树拆分成N棵小树,它首先写入内存中,随着小树越来越大,内存中的小树会被清除并写入到磁盘中,磁盘中的树定期可以做合并操作,合并成一棵大树,以优化读性能。

  LSM树的优势在于:在LSM树上进行一次数据更新不需要磁盘访问,在内存即可完成,速度远快于B+树。

五、学习总结

  对于网站的高性能架构这一章的阅读,通过大牛的书籍我们学到了从三个主要方面的性能优化策略,虽然都是理论,而且还只是浅显地说明,但是对于我们这些广大的开发菜鸟来说,扩展知识面,了解一点优化策略不是一件坏事,我们可以从中注意到日常的代码规范,如何写出高效的代码也是一件值得研究的事儿。在书中,看到了作者写了这样一句话,贴出来与各位正在学习途中的菜鸟们共享:“归根结底,技术是为业务服务的,技术选型和架构决策依赖业务规划乃至企业战略规划,离开业务发展的支撑和驱动,技术走不远,甚至还会迷路”。出来实习了一年多,对这句话感慨颇多,也吃了很多的亏,在和客户的沟通交流上也有了自己的一点感悟,所以贴出来与各位园友共勉。最后,希望作为菜鸟的我们,在技术这条路上能够走得远一些,迷路不重要,重要的是能够迷途知返,么么嗒!再过一个多月,就要开始找工作了,希望在此期间能够认真阅读完自己的计划书单,加油!

参考文献

(1)李智慧,《大型网站技术架构-核心原理与案例分析》,http://item.jd.com/11322972.html

(2)周言之,《Memcached详解》,http://blog.csdn.net/zlb824/article/details/7466943

(3)百度百科,CDN,http://baike.baidu.com/view/8689800.htm

(4)王晨纯,《Web基础架构:负载均衡和LVS》,http://www.importnew.com/11229.html

(5)辉之光,《B树、B-树、B+树》,http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html

(6)yanghuahui's blog,《LSM树由来、设计思想以及应用到HBase的索引》,http://www.cnblogs.com/yanghuahui/p/3483754.html

本章思维导图

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_770487.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ssh框架点击按钮就404_深挖网站404页面问题

404页面,指显示网站错误链接的页面,可能是访问的页面不存在,也可能是页面已经删除了。出现404异常状态,用户体验可能不佳,但可喜的是404页面能缓解用户的焦虑和挫败感。网站改版成为满足业务需要和提升用户体验的必经之…

transwarp site_SEO重拎SITE命令:看收录,判降权…还能发现网站结构疏漏

给部门编辑们提供SEO文章发布指南时,发现大伙对于SITE命令尚缺乏了解和应用。回到我自己入门SEO的那个时间点 ,是先从掌握几个SEO命令开始的,其中最为实用的就是SITE命令,因为它可以查看网站的收录量。除此之外,SITE命…

大型网站技术架构(四)网站的高性能架构

2019独角兽企业重金招聘Python工程师标准>>> 网站性能是客观的指标,可以具体体现到响应时间、吞吐量、并发数、性能计数器等技术指标。 1、性能测试指标 1.1 响应时间 指应用执行一个操作需要的时间,指从发出请求到最后收到响应数据所需要的时…

如何把其他网站的搜索页挂到自己的网站上_Google网站排名多久能到首页?

每一个企业都希望自己的外贸网站排名可以在短时间内排上Google首页,那Google网站排名多久能到首页呢?一尘SEO可以告诉大家的是,Google排名需要一定的时间和周期去判定,SEO是一个持续积累的过程,并不像SEM一样立竿见影。…

电商网站模板_上海电商网站建设设计方案是什么?具体建设流程分享

网站建设是很多人都会选择的,网站是很多人的一个营销和推广选择,必定如今互联网是非常发达的,在网站建设过程中也存在很多问题,一般在网站建设时需要将这些问题逐一解决,以保证自己建站更为满意,那么上海电…

网站可行性报告范文_合肥可以做可行性研究报告范文

合肥可以做可行性研究报告范文yllc合肥可以做可行性研究报告范文紧密纺纤维项目合作计划书年产真空拔罐器2000万套项目合作计划书年产1000吨胶剂生产线建设项目可行性报告年产2万吨混凝土减水剂深加工项目项目策划书年产500套全网制基站信息采集查询系统技术改造项目项目申请报…

用go重写php网站,php如何使用自动加载(重写url形成单一入口)-Go语言中文社区

事情是这样的,昨天我面了个试,发现自己对自动加载了解的很片面,于是我就去看自动加载的机制,而网上的例子讲的都是方法含义,于是我自己写了个简单的例子。什么是自动加载了?在php5之前是没有自动加载的&…

网络不稳定是什么原因_关键词排名波动原因,如何解决网站排名不稳定!

理论上讲,关键词的排名决定了网站的流量,定期审查关键词的排名是每个SEO人员的工作,在以往的工作我们可能会遇到这样一种情况:关键词排名频繁波动,很不稳定。 它往往搞的SEOer一头雾水,明明没有过度优化&am…

少儿编程的关联网站

​少儿编程教育的目的是学习某编程语言,掌握多少编程知识和技能,而是通过编程的学习提升数字素养,培养信息意识,形成学科融合的能力。格物斯坦认为:编程化计算思维的建立,为解决实际问题提供更富有逻辑化的…

学习人工智能网站

​在谈论人工智能教育之前,让我们简单地理解两个概念,一个是大数据,另一个是人工智能。对大数据概念的简单理解是数据价值的过程。格物斯坦表示:目前大数据正在从概念向行业转变。目前,大数据行业已初步形成了基于数据…

url获取网站信息不包含网页源文件内的标签_企业掌握这四点优化方法,轻松获取免费流量...

对于企业来说,在互联网中获取流量时,需要进行非常精细的测算,其中转化率则是计算的重点。企业对引流的渴求度高,在平台虽有公共流量,但是转化率低。想额外达到获客的成果又需要支付相应的费用,这就造成“流…

maya刷权重时有个叉_如何快速提升网站权重?7年SEO从业经验给你谈快速上权重方法...

今天在SEO圈子里面看到很多SEO新手入坑玩家,在群里交流网站权重上升太慢做几个月都没有一点权重和流量。那么今天王听风老师来给大家说一下网站权重快速提升的方法。网站权重我总结的几个经验:一,发文章做词库发文章必须带词库关键词&#xf…

seo自动发外链_seo如何做外链(做seo外链建设有哪些原则)

人人做seo都需要发外链,同样的工作最终的结果却是千差万别,有些人发的外链让网站优化的结果更好,有些人发外链带给网站的优化结果是无效甚至于是反作用的。我们seo如何做外链呢?做外链建设有哪些原则?一、发布一些高质…

python搭建网盘网站_搭建nextcloud私有云存储网盘

简介:搭建个人云存储一般会想到ownCloud,堪称是自建云存储服务的经典。而Nextcloud是ownCloud原开发团队打造的号称是“下一代”存储.真正试用过后就由衷地赞同这个Nextcloud:它是个人云存储服务的绝佳选择。一开始以为Nextcloud只是一个网盘…

一个同时在线人数为500人的电商网站,TOMCAT设置并发数以及mysql数据库连接数

请问各位一下,如果现在有一个每天同时在线人数为500人的电商网站,使用阿里云服务器的配置如图 ,用的是strutshibernatespring开发,使用tomcat,如果该网站上线了,那我该如何设置tomcat的连接数,…

承受每天百万级访问量的网站需要多少台服务器?

说一下我的网站吧,是一个漫画网站,全站动态伪静态,目前建站一年,是一个漫画为主的网站。 帖服务器配置截图 以及高峰期的CPU内存占用情况 因为是漫画网站全是图片,所以配了2个8T SAS硬盘做rid,保持服务器稳…

Nginx--大型网站高并发处理

文章目录 **Nginx**-->**大型网站高并发处理** 一,产生背景 二,负载均衡(Load Balance) 2.1 高并发 2.2 负载均衡 2.3 tomcat并发图 三,Nginx简介 3.1 什么是 Nginx? 3.2 哪些地方使用了Nginx? 四&…

我记录网站综合系统 -- 技术原理解析[7:CSS类]

CSS是前台工程师的必修课&#xff0c;一般我们使用CSS只是统一写在.css里面。不过&#xff0c;wojilu提供了一些操作CSS的类&#xff0c;你可以将CSS当作一个个类来操作。 源代码位置&#xff1a;\wojilu\Web\UI 我们可以将一个CSS看作一个字典 Dictionary<String, Dictiona…

IIS网站服务器性能优化指南

Windows Server自带的互联网信息服务器&#xff08;Internet Information Server&#xff0c;IIS&#xff09;是架设网站服务器的常用工具&#xff0c;它是一个既简单而又麻烦的东西&#xff0c;新手都可以使用IIS架设一个像模像样的Web站点来&#xff0c;但配置、优化IIS的性能…

网页制作技术革新:《HTML5 网站大观》系列文章导航

《HTML5 网站大观》系列文章自去年7月至今已总共发布了12篇&#xff0c;向大家分享了基于 HTML5 制作的企业网站、个人网站、博客网站、单页网站、作品集网站等等各种类型的优秀 HTML5 网站设计作品&#xff0c;现收集于此&#xff0c;供大家查阅。 作为下一代网页语言&#xf…