大规模网站架构的缓存机制和几何分形学

news/2024/5/21 0:14:54/文章来源:https://blog.csdn.net/qq_22520587/article/details/62456229

缓存机制在我们的实际研发工作中,被极其广泛地应用,通过这些缓存机制来提升系统交互的效率。简单的总结来说,就是在两个环节或者系统之间,会引入一个cache/buffer做为提升整体效率的角色。 

而 有趣的是,这种缓存机制令人惊奇并且优美的遵循着“几何分形”的规律,也就是几何分形学中的“自相似性”:从整体上看遵循某种组成规律或者特性,同时从每 一个局部看,仍然遵循某种组成的规律或者特性。我们的这些系统,从整体上看遵循了缓存机制,每一个组成的局部也遵循缓存机制。

等同类比的一个概念,我们常常说的“空间换时间”,牺牲一部分空间代价,来换取整体效率的提升。 

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

例如A和B两者之间的数据交换,为了提升整体的效率,引入角色C,而C被用于当做热点数据的存储,或者是某种中间处理的机制。

我们先从web前端层面开始,看看有哪些比较关键的缓存机制?它们又是怎样协调工作的呢? 

一、前端Cache机制

1. 域名转为IP地址(域名服务器DNS缓存)

我们知道域名其实只是一个别名,真实的服务器请求地址,实际上是一个IP地址。获得IP地址的方式,就是查询DNS映射表。虽然这是一个非常简单的查询, 但如果每次用户访问一个url都去查询DNS一次,未免显得太频繁,会产生一个可怕的访问量级。DNS服务器会告诉你,你别老是经常过来,万一我挂了,我们就无法愉快地玩耍了。

各个浏览器的缓存时间,会有一定的差别。例如,在chrome浏览器中查看dns的缓存时间的方式是:chrome://net-internals/#dns。

浏览器一般会在本地会建立一个DNS缓存,在一段比较长的时间里,都是使用本地的缓存映射。例如,在Win7系统的cmd里,可以通过“ipconfig /flushdns ”的方式来立刻刷新本地DNS。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

优点:域名映射为IP非常快。

成本:消耗一定的浏览器空间来存储映射关系

2. 访问服务器,获取静态内容(地理位置分布式服务CDN)

可能有人会觉得,这个CDN不是缓存。其实,CDN的原理就是将离你很远的东西,放在离你很近的地方,通过这种方式提高用户的访问速度。从这个角 度,它也可以理解为牺牲空间成本换取了时间,本质上也是一种特殊的中间cache。腾讯、阿里等这些大的一线互联网公司一般倾向于自己建立CDN系统,中 小型企业也经常使用第三方的CDN服务。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

优点:解决用户离服务器太远的时候,网络路由中跳来跳去的严重耗时。

成本:全国各地部署多套静态存储服务,管理成本比较高,发布新文件的时候,需要等待全国节点的更新等。

3. 浏览器本地缓存(无网络交互类型)

在前端优化原则中,其中一条就是尽量消灭请求,以达到降低服务器压力和提升用户体验的效果。静态文件,例如Js、html、css、图片等内容,很多内容可以1次请求,然后未来就直接访问本地,不再请求web服务器。

常用的实现方法是通过Http协议头中的expire和max-age来控制,这两者的使用方法和区别,我这里就不赘叙了。还有一种HTML5中很热的方式,则是localStorage,尤其在移动端也被做为一个强大的缓存,甚至当做一种本地存储来广泛使用。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

优点:减少网络传输,加快页面内容展示速度,提升用户体验。

成本:占用客户端的部分内存和磁盘,影响实时性。

4. 浏览器和web服务协议缓存(有网络交互类型)

浏览器的本地缓存是存在过期时间的,一旦过期,就必须重新向服务器请求。这个时候,会有两种情形:

  • 服务器的文件或者内容没有更新,可以继续使用浏览器本地缓存。
  • 服务器的文件或者内容已经更新,需要重新请求,通过网络传输新的文件或者内容。

这里的协商方式也可以通过Http协议来控制,Last-Modified和Etag,这个时候请求服务器,如果是内容没有发生变更的情况,服务器会返回 304 Not Modified。这样的话,就不需要每次访问服务器都通过网络传输一个比较大的文件或者数据包,只要简单的http应答就可以达到相同的请求文件效果。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

下图中的例子,是腾讯的自建CDN(imgcache.gtime.cn):


优点:减少频繁的网络大数据包传输,节约带宽,提升用户体验。

成本:增加了服务器处理的步骤,消耗更多的CPU资源。

5. 浏览器中间代理

上面的几种cache机制,实际上都是非常常见。但是,在移动互联网时代,流量昂贵是很多用户心中深深的痛。于是,又出现了一种新型的中间cache, 也就是在浏览器和web服务器再架设一个中间代理。这个代理服务器会帮助手机浏览器去请求web页面,然后将web页面进行处理和压缩(例如压缩文件和图片),使页面变小,然后再传输给手机端的浏览器。


部分手机浏览器(例如Chrome)号称可以节省流量,提升访问速度,实际上就是上述做法。但是,也分为两种情况:

  • 用户的网络和手机配置都比较差,因为页面被压缩变小,加载和传输速度变快,并且节约了流量。
  • 用户的网络和手机配置都比较好,本身直连速度已经很快了,反而因为设置了中间代理,加载速度变慢,也可节约流量。

下图是chrome手机浏览器中,开启和不开启中间代理的对比图:

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

优点:节约用户流量,大部分情况下提升了加载速度。

成本:需要架设中间代理服务器,对各种文件进行压缩,有比较高的服务器维护成本。

6. 预加载缓存机制

这种加载方式主要流行在移动端,为了解决手机网速慢和浏览器加载性能问题,浏览器会判断页面的关联内容,进行“预加载”。 也就是说,在用户浏览A页面的时候,就提前下载并且加载B页面的内容。给用户的体验就是,B页面一瞬间就出现了,中间没有任何延迟的感觉,从而带来更好的 极佳的用户体验。

这种实现机制,往往由浏览器来实现,当然,手机页面本身,也可以通过JS来自身实现。而这种机制也存在一些问题,浏览器需要预判用户的浏览行为,在一些场景下,这个预判算法本身不一定准确,如果不准确则带来一定的流量、内存和系统资源的浪费。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

优点:给用户带来极佳的页面展示体验。

缺点:预判实现比较复杂,占据一定的内存和手机系统资源,可能产生流量和资源浪费。

前端的cache当然不仅仅如此简单,如果细致到每一个小环节和组成部分,我们会发现实际上是无处不在的,例如浏览器的渲染行为、网络网卡的传输环节,小环节和小环节之间也有无数这种类型的cache角色。

这个就如同几何分形学中的自相似性:从整体上看符合某种组成规律或者特性,同时,从局部看,仍然符合某种组成的规律或者特性。

几何分形的现象在我们生活中,也是非常常见的,例如:

人体中的几何分形例子,例如:人体有1个头部+4肢,局部上看人的手指也是1个手指头+4个手指;人体无论整体或者局部,都大致遵循黄金分割点0.618的比例来生长(五官按照这个比例越多,越好看)。

例如下图中的叶子,每个局部都和主干组成结构相似。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

二、Web系统和几何分形学

1. Web系统中的缓存机制

看完上面的前端cache,我们会感觉到缓存机制在前端中的确无处不在,那么它在其他地方和环节,是否也无处不在?

可以看看这张图:


实际上,每一个环节本身是可以又再次被放大的,放大以后,我们又看见了更多缓存机制的“特性”存在。从一个整体来看,符合该规律,从组成部分来看,仍然符合该规律。

每一个组成缓存机制的“成员”的内部,又存在着更多的缓存机制。

Apache内部的一些“缓存机制”:

  • url映射缓存mod_cache(有mode_disk_cache和mod_mem_cache,后者官方已不推荐)
  • 缓存热点文件打开描述符mod_file_cache(对于静态文件的情况,减少打开文件中open行为的耗时)
  • 启动的时候,通过prefork模式设置的StartServers服务进程池,牺牲内存空间。

MySQL内的一些“缓存机制”:

  • 数据库的索引,牺牲磁盘空间(组合索引等会占据很大的磁盘空间)
  • innodb_buffer_pool_size,热点数据的缓存,牺牲内存空间
  • innodb_flush_method写入磁盘的机制,可以配置成缓冲写入的方式
  • query_cache_size查询缓存,牺牲内存空间
  • thread_cache_size数据库连接池的缓存个数,牺牲内存空间

2. 接近硬件层面的“空间换时间”

那我们再来看更细小的一个环节,计算机写的操作。我们会发现,在内存和物理磁盘之间,还有一个磁盘缓冲区(页高速缓存)的存在,这个是内存和磁盘之间的“缓存”。当然,读取的操作也是同理。

下图是“放大”MySQL中的写入磁盘:


实际上,更进一步看,CPU和内存之间也存在缓存机制(常用指令会存在放在寄存器中,因为CPU访问寄存器会远快于访问内存,中间为了缓冲它们之间差距,设置了多级高速缓存)。

例如下图是Intel i7 920的各级缓存大小:

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

这个时候,我们可以看出来,计算机系统从大的系统层面看,是遵循“缓存机制”的规律的,同时,在每个局部成员的层面,同样遵循该规律。

3. 现实世界中的“缓存机制”

我们现在喝水通常使用的是杯子,杯子实际上也扮演着一个特殊的Cache角色。举个例子:一个人离饮水机比较远,他渴了,他有如下两种“喝水”的方式:

  • 不用杯子,每次渴了直接去饮水机喝(这个比较霸气侧漏,不要在意细节)。结果:频繁跑动,耗费体力。
  • 使用杯子,渴了先喝杯子(Cache)上的水,如果杯子没有,带上杯子去装水,再喝。结果:比较少跑动,节省体力。

这样看不直观,简化为一个流程图如下:

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

这虽然是个人尽皆知的道理,但是,这个方法本身是“进化”出来的。百万年前的原始人类和其他大自然的动物一样的,喝水遵循了第一种方式,只是随着人类的发展,“进化”出第二种喝水的方式。

这里也存在一个缓存机制,就是用杯子的空间获取喝水效率的时间。

还有一个更为典型的例子,就是坐车/运输,假设我们从深圳去广州,我们会去坐客运车。而客运车(假设上面有40个 座位)实际上相当于一个40个座位的“队列”。遵循着网络传输的相同的规律“队列满或者超时则发送”。客车本身的40个位置,就像一个“发送缓冲区”。使 用和不使用这个大的缓冲区,客车也可以有两者运作方式:

  1. 车站发现来一个人,用只能容纳一个人的小车,不等待直接送一个人去广州。
  2. 车站发现来一个人,先放进客车buffer中,等待人满或者达到班车约定时间(队列超时)再出发。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

显而易见,第一种是太浪费资源了。

除此之外,还有很多各种各样的例子,如江河上的大坝、我们桌面上的一些东西(它们占据宝贵的桌面空间)、我们公司附近小店里的商品、离我们近的东西等等。

看到这里,很多人会渐渐发觉,计算机的一些原理,竟然在现实世界里有无处不在的“映射和影子”。

几何分形学是个非常有趣的东西,某些规律,实际上还贯穿在整个宏观和微观世界中。

例如“绕转”的现象:


4. 现实世界和计算机“缓存机制”原理的关系,为什么遵循“几何分形”?

实际上,计算机的原理来源于数学,而数学是日常生活现象和规律的高度抽象,源于生活,高于生活。

大规模网站架构的缓存机制和几何分形学 - hansionxu - 技术的天空

同时,不仅仅“缓存机制”,还有很多其他技术的原理,也能找到这种遵循“几何分形学”的样子。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_823074.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分分钟在自己电脑上建一个视频网站,收费电影随便看,还没广告!

声明iker干货 本文仅作为技术文章,不鼓励不诱导用户观看盗版视频。第一步分分钟在自己电脑上建一个视频网站,收费电影随便看,还没广告!第二步安装好软件后先切换环境,推荐使用 PHP 7.0.12 Apache,&#xf…

你需要但是找不到的网站,其实不太想分享,有你想要想收藏的

今天iker分享给大家几个平时十分需要的网站,如果对你有帮助麻烦点赞关注一下哦,谢谢了。1、Goimg.io这是一个图片压缩在线网站,当你在上传图片时可能会遇到图片文件太大的问题,这时这个网站就派上用场了。网站链接https://goimg.i…

6个在线制作海报的网站,一分钟搞定一张海报!

Fotojethttps://www.fotojet.com/cn/features/poster/FotoJet提供大量的富有设计感的海报模板,从音乐主题到时尚主题应有尽有。你可以选择喜欢的模板,再结合自己的想法,DIY完成你的海报。即使没有任何设计经验,你也可以设计出高水…

百度二级网页打不开_百度快照合理利用与网站网页制作的技巧

合理利用百度引擎进行网站宣传,这是网络时代企业网站发展的必要形式。目前百度搜索的排名,是宣传的核心与重点。而网站的整体布局,要追求有更好的宣传目的,就成为有效利用搜索引擎,提高网站流量的方法。当然让客户可能…

手机网站开发(WAP网站)第一篇

现在的互联网,可以说是名副其实的移动互联网。大家不仅可以利用无线网卡随处随地上网,还可以直接利用手机浏览网页、下载文件,而且现在的无线运营商也正在大力发展无线网络、扩展手机上网带宽。 于是,手机网页的制作需求也变多…

建材安装php源码,PHP响应式瓷砖大理石建材企业网站整站源码(自适应手机移动端) dedecms内核...

【温馨提示】源码包解压密码:www.youhutong.com资源描述PHP响应式瓷砖大理石建材企业网站整站源码(自适应手机移动端) dedecms内核源码介绍:采用织梦最新内核开发的模板,该模板企业通用、瓷砖、大理石、建材类企业都可使用。响应式自适应各种…

seo如何优化文章-知识交流_【SEO优化】网站SEO该如何优化

点击蓝字关注我哦当今的网络时代,酒香不怕巷子深的经营理念早已过时,SEO比任何时候都更重要。鉴于SEO对企业来说如此重要,那么具体该如何优化网站SEO呢?本文分别从关键词选择,原创文章,内页优化&#xff0c…

英文商城网站前端代码_门户网站关键词优化外包前端网站页面优化公司企业网站优化排名织梦网站优化霸屏商城网站推广优化现在网站seo推广优化google...

门户网站关键词优化外包前端网站页面优化公司企业网站优化排名织梦网站优化霸屏商城网站推广优化现在网站seo推广优化google门户网站关键词优化外包前端网站页面优化公司企业网站优化排名织梦网站优化霸屏商城网站推广优化现在网站seo推广优化google门户网站关键词优化外包前端…

爬取场库网站遇到的问题

采用解析网页源码的方式 然后通过xpath表达式去匹配视频的信息:标题、作者、图片的url、视频的url、评分、视频简介、点赞数、评论数、标签、类型。 我在匹配这些信息时遇到两大问题: 第一个问题:获取到网页源码之后,根本找不到…

BODY background=自适应大小_1分钟了解自适应网站的9个好处

大家好,我是长春大鱼,从事网络服务行业已有7年,今天我来分享下自适应网站有哪些优点,下面我们花一分钟时间,了解下自适应网站的9个好处。什么是自适应网站?自适应网站也叫响应式网站,自适应指的是网页可以自…

element 登录_遇到需要登录的网站怎么办?学好python,用这3招轻松搞定

你好由于你是游客无法查看本文请你登录再进谢谢合作。。。。。当你在爬某些网站的时候需要你登录才可以获取数据咋整?莫慌把这几招传授给你让你以后从容应对登录的常见方法无非是这两种1、让你输入帐号和密码登录2、让你输入帐号密码验证码登录今天先跟你说说第一种…

linux中创建分区的命令有哪些,linux中创建磁盘分区的命令是什么_网站服务器运行维护,linux,磁盘分区...

win10打印机句柄无效怎么解决?_网站服务器运行维护方法:1、按住Shift键,点击重启;2、点击“疑难解答->高级选项->启动设置->重启”;3、按F4键,右键新建并打开文本文档,输入系统命令&am…

linux 编码问题,MySQL(Linux)编码问题——网站刚刚上线就被光速打脸

MySql默认编码问题说到这里真的想哭,改了无数bug,眼睁睁看着完善起来的系统,突然跳出来中文乱码,急的到处找资料,各种测试代码,他在本地就是跑的那么流畅,突然想到会不会是因为本地与linux不同&…

mysql jsp项目_CentOS7--部署JSP网站项目(环境架构jsp+mysql+tomcat)

前序:本次实验主要是将我的JSP毕业设计项目部署到云服务器上,通过手机浏览器直接访问,因为还是学生,像阿里和腾讯都有学生价的云主机10元/月,所以我购买了一个月的Centos7实例进行实验并且开通了4元/年(.xyz)的域名解析…

记录网站诞生过程-使用hexo+github pages

博客地址 此博客记录了搭建网站的详细过程,以及建站过程中遇到的一些坑。博客介绍了安装homebrew,nodejs,hexo,域名注册,github设置,DNS解析等过程。此次建站过程基于mac系统。网站使用的hexogithub pages的方式。 安装homebrew安装git安装nodejs安装hexo注册github账号DNS解…

计算机网络基础(OSITCP/IP模型、端口、TCP/UDP、HTTP/HTTPS、访问一个网站的过程)

文章目录计算机网络OSI网络模型&TCP/IP模型一、分层模型二、每层作用1. 物理层2. 数据链路层3. 网络层4. 传输层5. 会话层6. 表示层7. 应用层三、端口四、TCP(传输控制协议)、UDP(用户数据报协议)五、Http协议六、HTTPS协议七…

渗透测试-----信息收集(通过DNS解析找IP地址、CDN、IP查询、IP物理地址、搜索引擎、网站信息收集)

文章目录渗透测试信息收集一、IP地址信息收集1. 通过DNS解析找IP地址1.1 ping命令1.2 nslookup命令1.3 dig工具1.4 dnsenum1.5 站长工具2. 通过CDN收集IP信息2.1 CDN概述2.1 绕过CDN查找网站真实IP2.1.1 查看是否使用CDN2.1.2 绕过 CDN 查找网站真实 IP3. IP物理地址二、端口信…

上海新东方vs新东方,SEO实战

阿里妈妈提供广告非常郑重地声明一下(文章发表约20小时后补充) 我不得不承认,这篇文章有点“软”,但是请相信,这篇文章绝对不是为了软而软的。文章的来源是这样的。因为工作需要,所以分析了一下h公司的SEO方…

奥运期间如何实现网站的自动开启和关闭(IIS)

最近一直痴情于各类营销书籍和忙于看奥运,好久没来51cto。奥运真是百年一遇,能不让人疯狂吗?自因为太疯狂,才搞的我们这帮搞技术的累的人不像人,鬼不像鬼:-)奥运算是过去一半了,但网…

找到一款不错的网站压力测试工具webbench

webbench最多可以模拟3万个并发连接去测试网站的负载能力,个人感觉要比Apache自带的ab压力测试工具好,安装使用也特别方便。1、适用系统:Linux2、编译安装:引用wget http://blog.s135.com/soft/linux/webbench/webbench-1.5.tar.g…