大型互联网网站架构心得之一:分

news/2024/5/9 14:53:14/文章来源:https://blog.csdn.net/LoveCherry/article/details/4606534




大型互联网网站架构心得之一:分



我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

首先是横向的分:
1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。
2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。而且,使用不用的域名还可以提高浏览器并行加载的能力。
3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。
4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。


其次是纵向的分:
1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。
2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。


有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:
1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。
2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。
3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。
4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

对SQL SERVER数据库服务器来说[UPDATE]:
其实还是水平分割和纵向分割,一个二维表,水平分割就是横过来切一刀,纵向分割就是竖直切一刀:
1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中,或者说把某个拥有很多字段的表拆分成小表。
2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物理服务器增加IO吞吐以改善读写性能,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层了,就像一个文件夹中的文件不要太多,多分几层文件夹一样。
3、还可以通过数据库镜像、复制订阅、事物日志,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。

架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

典型的架构如下:


动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点
应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好


请大家讨论。。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_870762.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大型互联网网站架构心得之一:分

大型互联网网站架构心得之一:分 我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分&a…

初学编程者必知的五个网站

初学编程者必知的五个网站 发表于 9小时前| 7150次阅读| 来源 CSDN| 43 条评论| 作者 钱曙光 程序员 编程 编程语言 计算机 职场 摘要:学习编程能锻炼你的思维,形成一种思考方式,让你更好地思考一切,这对所有领域都有帮助。所以…

国人当自强:两岸三地在线编程学习网站大搜罗

摘要:在本文中,我们介绍了来自两岸三地的编程学习网站,通过它们,不仅可以一窥国内App开发的发展现状,而且这些网站各有特点,无论是主打游戏学习还是视频学习,对于想要自学的开发者而言&#xff…

Java开发牛人十大必备网站

本文由 ImportNew - 张文太 翻译自 programcreek。如需转载本文,请先参见文章末尾处的转载要求。 ImportNew注:如果你也对Java技术翻译分享感兴趣,欢迎加入我们的 Java开发 小组。参与方式请查看小组简介。 以下是我收集的Java开发牛人必备的…

大型网站架构技术一览

 对于大型网站技术的理解,可以从架构技术原理的组织方式以架构要素作为维度,从系统性能、可用性、伸缩性、扩展性、安全性几个角度阐述网站架构的技术要点。还有另一种较为直观的组织方式,是从不同架构层次所使用的网…

IIS配置MVC网站

我自己随便写了个MVC网站,能够 在vs2010里直接运行。但是加到IIS里之后却显示403.14错误,说是服务器没有启动“目录浏览”或没指定默认的文件。 当然,我没有必要启动“目录浏览”,又因为MVC是由router来控制的,我也没…

最近网站写完后,需更改协议,所以将原先http协议改为了https导致页面有些资源被浏览器阻止请求了

以下是将网站改为https协议后 浏览器爆的错 什么是Mixed Content 混合内容(Mixed Content)在以下情况下出现:初始 HTML 内容通过安全的 HTTPS 连接加载,但其他资源(例如,图像、视频、样式表、脚本&#xf…

大型网站架构系列:负载均衡详解(1)

大型网站架构系列:负载均衡详解(1) 文章出处 负载均衡详解 发布日期:2016年03月23日 来源: PHP1.CN 摘要:面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型…

Web网站打包成APP

appcan是国内比较老牌的平台 apicloud是新起之秀 phonegap是国外的大牌。 长期来看,phonegap是开源的,理所当然是技术最好。但是中文资料较少,国内应用的也不多。 appcan近期被apicloud蹂躏得不行不行的,基本全方位被碾压了。渐渐…

【JavaWeb学习,快一起呀,干!】第三章 Servlet 核心接口(3)—— 网站访问计数实现

开门见山的说 逸夫楼今天废了?屋漏偏逢连夜雨,道是无情却有情。凎! ServletContext 对象一个很神奇的东西,一个 Web 应用只会有一个。 我们可以把 ServletContext 对象理解为容器内一个共享空间,可以存储具有应用级…

十大免费CMS建站系统介绍(PHP+MYSQ…

这里为需要建站但又徘徊的朋友介绍10个免费PHPMySql平台下的CMS内容管理系统,可能会对你的选择有指导作用。 1. Joomla! 一套在国外相当知名的内容管理系统,2007年开源cms第一名!Joomla!是使用PHP 语言加上MySQL数据库所开发的软件系统,可以…

【大型网站技术实践】初级篇:借助LVS+Keepalived实现负载均衡

一、负载均衡:必不可少的基础手段 1.1 找更多的牛来拉车吧 当前大多数的互联网系统都使用了服务器集群技术,集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务,这些集群可以是Web应用服务器集群,也可以是数据库服…

博客网站终于可以上线了 www.cnopenblog.com

最近一直在忙于开发自己的博客网站,现在终于可以和大家见面了!http://www.cnopenblog.com 欢迎大家访问拍砖

非常炫的网页,可以用于制作漂亮的网站!

Juqery特效模板网站:http://www.17sucai.com/tags/1/4/0/208 模板一 下载地址: http://www.17sucai.com/pins/626.html 预览地址: http://www.17sucai.com/pins/demoshow/626 实际网站: http://www.ruifox.com/ 模板二 下载地址&a…

开源jQuery插件推荐 帮你快速构建单页网站!

单页网站将成为网站设计的主要趋势之一。其将设计元素减为最少,将访问者关心的核心内容放在最显眼位置,提高了网站效率。有一些jQuery插件可大大提高单页网站的开发效率,如Single Page Nav、Ascensor.js等。 单一页面网站(单一页面…

Mozilla开源TogetherJS:让网站拥有实时协作功能!

TogetherJS是一款免费开源的JavaScript库,开发者可以利用它给网站添加实时协作功能,并且内置许多功能,如视频、语音聊天、内容实时同步、获取用户实时焦点等。 TogetherJS是由Mozilla打造的一款可以给网站添加实时协作功能的JavaScript库&…

Squid代理服务器介绍-网站加速技术

http://os.51cto.com/art/201009/225813.htm 巧用Squid的ACL和访问列表实现高效访问控制 Squid代理服务器是一个缓存Internet数据的软件,可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议,提高用户下载页面的速度,并设置过滤。使用Squid可以通过访…

Squid代理服务器介绍-网站加速技术

巧用Squid的ACL和访问列表实现高效访问控制 Squid代理服务器是一个缓存Internet数据的软件,可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议,提高用户下载页面的速度,并设置过滤。使用Squid可以通过访问控制特性来灵活的控制用户访问时间、站点等…

李平:大型网站的灵魂——性能

在前一篇随笔 大型网站系统架构的演化中,介绍了大型网站的演化过程,期间穿插了一些技术和手段,我们可以从中看出一个大型网站的轮廓,但想要掌握设计开发维护大型网站的技术,需要我们一步一步去研究实践。所以我打算写一…

周末入手一台公测版M8,连夜为它改了网站,帆船书会M8版

周末入手一台公测版M8,用起来感觉非常好,我女朋友有台iPhone,我感觉M8跟iPhone相比各有千秋, 希望大家支持国货,相信魅族! 我是帆船书会的站长,M8入手后我连夜修改帆船书会,改了个M8…