我也要谈谈大型网站架构之系列(2)——纵观历史演变(下)

news/2024/5/9 14:58:49/文章来源:https://blog.csdn.net/weixin_34323858/article/details/86460907

 

  这篇文章本来准备前几天就得写的,谁也没想到这段时间公司的RC太多了,含酸苦逼的加班,加班。。。所以在大一点的公司上班,

写代码的责任心一定要强,或许就因为你的一些小bug,给公司带来不少损失。。。这在以前公司真的没多大体会的。

  好了,继续说说架构的演变,从第四代架构中可以看到,我们通过做应用程序层的负载均衡可以比较完美的解决了在整个架构中让应

用程序层不再成为瓶颈,通过A10,我们可以让用户的访问请求分发到集群中的任何一台服务器上,当访问量继续膨胀的时候,我们就可

以继续在集群中增加服务器来解决负载的压力,达到系统的可伸缩性,现在我们的业务规模像滚雪球一样越来越大,用户数暴增。。。这

时候我们缓存中的数据也越来越多,虽然我们用了缓存,但是大量的“缓存过期重新读取”和“缓存不命中",导致数据库压力非常大,这时候

数据库的压力成为了我们架构中的瓶颈。

 

五: 第五代架构

   既然数据库成为了我们第四代架构的瓶颈,这时候必须解决数据库的压力问题,最常见的做法也就是“读写分离”,将写和读的库进行拆

分来缓解数据库的压力。

  

现在我们做了多个库,写的时候进主库,然后数据库分发到从库中,然后应用程序在从库中读取,这里为了让数据库对应用程序更加

透明,我们通常加一个“数据访问层”,在携程里面就是在企业库上进行了一层封装以及安全性采用了all in one 模式,可以看到第五代

架构对数据库的压力有了很大的缓解。

   经过几个月业务喷井式的发展之后,我们会发现数据库检索越来越慢,单表数据量已经差不多爆炸了。。。已经严重影响到系统性能,

用户抱怨不断,这时候“数据检索”成为了我们系统的严重瓶颈。

 

六:第六代架构

  既然检索成了瓶颈,我们必须对数据库进行拆分,尽可能的减少检索中的数据量规模以及尽可能的优化算法。

  1:业务分库

      我们将不同的业务分摊到不同的业务服务器上,而不是将其耦合在一个数据库里面,从而建立起数据库集群,分流应用层对数

  据库的压力。

  2:分表

  可以采用时间划分,将三个月之后的数据放入到历史表里面,当前表只保存三个月之内的数据,而从极大提供单表的检索能力。

  3:采用nosql

    nosql就是为了web而生,分词,系统日志等等,一样都让不少nosql,而且nosql有其天生的负载均衡。

  4:优化算法

     栈,队列,二叉树,哈希 等等变换和非变换的数据结构在这种大数据的场景下可以得到灵活运用,这也是区分高级程序员和低等

   码农的一条参考标准。

      当你的架构到这个程度的时候,差不到公司的人数也过千了,这时候我们的业务会分成很多产品线的,比如:机票事业部,酒店

事业部,旅游度假事业部,攻略社区事业部,每个事业部只会负责自己的产品架构,从而将我们的架构再次细分,从技术角度看,这些

事业部又可以提炼出公共的部门,比如登录模块,订单处理等等这些可复用的模块,可以相应的成立公共平台事业部和框架架构部,当

这个架构继续往下发展的话,就有了现在的各种云,也就成了各种变钱的工具了,就比如现在的博客园托管在阿里云之上。。。

 

     终于在今天,结束了高层重视的IVR项目的所有事情,最后祭奠一下,自从猪猪侠拿到那些所谓的数据,导致我们连续加班的日日夜夜。

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_756877.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网关不能从您要访问的网站接收到及时响应解决方法记录(使用代理上网)

最近出差在外,打开测试环境时候(内网)发现一直超时,错误信息如下: 写道网关不能从您要访问的网站接收到及时响应。这可能表明网络阻塞,或者该网站遇到技术困难还提示 源: 防火墙之类的。 就是测试环境网页打不开,百度能…

ssm项目——软件项目管理在线学习网站

1.项目概况 针对“软件项目管理”这门课程的在线学习网站 包括软件项目管理在线学习网站以及后台管理网站 2.需求分析 涉众:管理员、教师、学生 教师功能:管理选课结果、成绩录入、成绩分析、成绩预警、发布课程视频、留言回复 学生功能:选课…

[简单]推荐一个itext例子比较全的网站

最近发现一个itext例子比较全的网站,其中例子的代码是使用比较老的itext写的,也就是使用了com.lowagie.text.pdf.*这些包,经测试,大部分例子都可以兼容itext 5.5.5包,需替换为com.itextpdf.text.*. 然后稍加修改部分代…

织梦网站如何去掉底部的版权 power by dedecms

织梦网站如何去掉底部的版权 power by dedecms 比如网站:www.hjsy888.com的网站每次更新include/dedesql.class.php文件就会出现下面这个版权 power by dedecms,看的很讨厌,该怎么处理呢? 网上说有二种方法,我特别喜欢…

关于大型网站技术演进的思考(一)--存储的瓶颈(1)

前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大,培训完后我很难完整理出全部听到的知识,今天我换了个思路是回味这次培训,这个思路就是通…

网站安全狗V3.5枸杞版正式发布

2019独角兽企业重金招聘Python工程师标准>>> 网站安全狗功能涵盖了网马/木马扫描、防SQL注入、防盗链、网站后台防护、一句话木马防护、防CC攻击、网站流量实时监控、网站CPU监控、、IP黑白名单管理、网页防篡改功能等模块。能够为用户提供实时的网站安全防护&#…

制作个人音乐网站 车辆工程 冯大昕

转载于:https://www.cnblogs.com/FengTang/p/7860740.html

网站添加Markdown——showdown.js使用教程

步骤1.下载showdown.js 步骤2引入到自己的项目中&#xff0c;结构如下: 步骤3&#xff0c;引入到html&#xff0c;并使用 <script type"text/javascript" src"showdown/showdown-master/showdown-master/dist/showdown.min.js"></script>使用…

将爬取的实习僧网站数据传入HDFS

一、引言&#xff1a; 作为一名大三的学生&#xff0c;找实习对于我们而言是迫在眉睫的。实习作为迈入工作的第一步&#xff0c;它的重要性不言而喻&#xff0c;一份好的实习很大程度上决定了我们以后的职业规划。 那么&#xff0c;一份好的实习应该考量哪些因素呢&#xff1f;…

AI绘画工具软件网站合集:这些人工智能绘画生成器效果太赞了

那么有哪些口碑比较高的文本转图片的AI绘图软件呢?本文将跟大家分享一波出图效果相当不错的人工智能绘画工具网站&#xff0c;让大家实现“绘画自由”。 一、Disco Diffusion 简介:这是一款最早流行起来的AI绘图工具&#xff0c;直接在谷歌云端运行的程序&#xff0c;对电脑配…

夺命雷公狗—玩转SEO---29---DEDE快排之高效率批量高质伪原创文章

高速 批量 高质量 伪原创 站点&#xff1a;茂名旅游网 内容来源&#xff1a; 1&#xff1a;竞争对手 抄袭&#xff0c;没错&#xff0c;但是是有技巧的借鉴&#xff0c;比如我们是旅游的&#xff0c;那么我们就不能去找旅游的同行来进行抄袭&#xff0c;那么我们可以借鉴其他游…

使用Nginx的压缩功能提升蝉知建站系统的访问速度

2019独角兽企业重金招聘Python工程师标准>>> 众所周知&#xff0c;一个网站的加载速度越快&#xff0c;效果越好。提升网站的加载速度可以从很多方面来入手&#xff0c;比如提高服务器的配置&#xff0c;增大带宽等等。这 其中比较常用的一个手段就是对HTML&#xf…

爬取自如网站杭州市的租房信息

爬取自如网站杭州市的租房信息 最近看到自如网的整体网页结构比较简洁&#xff0c;因此尝试获取一下杭州市的租房情况&#xff0c;简单做一个分析。 需要获取的内容如图所示1.获取网页内容 web_urlhttp://hz.ziroom.com/z/nl/z2.html?p1 #对一些需要登录的网站&#xff0c;如果…

一个纯采集站长的SEO、采集、运维总结

我是一个纯采集站长&#xff0c;下面的这些总结&#xff0c;有些是关于关于SEO&#xff0c;有些是关于采集和运维&#xff0c;都是很基础的个人见解&#xff0c;仅作分享&#xff0c;请自辨好坏是非&#xff0c;实践出真知。原创好还是采集好?当然是原创好&#xff0c;因为百度…

周六周日闲着做一个视频小webapp免费视频网站

2019独角兽企业重金招聘Python工程师标准>>> 一次无意中浏览网站 &#xff0c;发现了一些免费的去广告免会员的视频网站&#xff0c; 抓包发现了他们网站的一些接口&#xff0c; 我就拿过来借用了 哈哈&#xff0c;主要是因为那些网站的广告太多了&#xff0c;只是想…

[置顶] 高性能建站之前端优化篇

高性能建站之前端优化篇 2011-10-25 17:50 by PHP淮北, 560 visits, 收藏, 编辑 前言&#xff1a; 这算是对前端优化的总结吧&#xff0c;之前零零星星总结和学习&#xff0c;这次做一个完整的总结。 测试网页性能工具 ⑴Page Speed&#xff1a; 谷歌开发的工具&#xff0c;网站…

40款非常漂亮的免费 HTML5 CSS3 网站模板【上篇】

HTML5 作为下一代网页语言&#xff0c;加入中众多更具语义的标签&#xff0c;例如video、audio、section、article、header 和 nav 等。而 CSS3 作为 CSS 的下一代版本&#xff0c;同样引入了很多很酷的属性&#xff0c;以前很多需要 JavaScript 才能实现的复杂效果&#xff0c…

IIS或Apache启用GZIP压缩优化网站

先来了解一下GZIP&#xff0c;gzip 是GNU zip的缩写&#xff0c;它是一个GNU自由软件的文件压缩程序&#xff0c;也经常用来表示gzip这种文件格式。软件的作者是Jean-loup Gailly和Mark Adler。1992年10月31日第一次公开发布&#xff0c;版本号是0.1&#xff0c;目前的稳定版本…

使用Apache服务部署静态网站

Apache程序是目前拥有最高市场占有率的web服务程序之一&#xff0c;其跨平台和安全广泛被认可且拥有快速、可靠、简单的API发展。下面是使用Apache服务部署静态网站 一.1.我们首先创建目录/media/cdrom&#xff0c;把光盘设配系统中镜像挂载到目录/media.cdrom命令为&#xff1…

看我如何发现Uber合作方网站XXE 0day漏洞并获得9000美元赏金

近期&#xff0c;俄罗斯渗透测试人员Vladimir Ivanov发现了反勒索数据备份服务商Code42的一个XXE 0day漏洞&#xff0c;利用该漏洞可以从使用Code42服务的公司窃取相关备份数据&#xff0c;这些公司包括Uber、Adobe、Lockheed Martin&#xff08;洛克希德马丁&#xff09;等。作…