大型网站架构心得之一:分

news/2024/5/11 2:20:18/文章来源:https://blog.csdn.net/iceidea/article/details/83254090

我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

 

首先是横向的分:

1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。

2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那 么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。

3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。

4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。

 

其次是纵向的分:

1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。

2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存 和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可 以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。 有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会 很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的 前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

 

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:

1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。

2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。

3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。

4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大 了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

 

对SQL SERVER数据库服务器来说[UPDATE]:

其实还是水平分割和纵向分割

1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中。

2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物 理服务器增加IO吞吐,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层了,就像一个文 件夹中的文件不要太多,多分几层文件夹一样。

3、可以做数据库镜像、复制订阅、事物日志传送,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。 架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

 

典型的架构如下:

动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点 应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好 请大家讨论。。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_893055.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PC文件在线互传网站推荐

大文件: U盘或者移动硬盘才是首选,没有条件才用此下策 轻松传 - 传文件,传文本,传屏幕,传实时视频https://easychuan.cn/ 无需上传,直接下载,这是它的优点。使用edge亲身体验有个bug&…

IE浏览器提示网站还原错误

win 10 系统IE(Internet Explorer)浏览器提示网站还原错误,报错图如下 : 网上找了很多的方法,重置浏览器设置,降低自定义安全级别,添加受信任站点、禁用加载项、清除历史缓存记录等皆无用。 一、解决方法 1.此电脑--…

Java web 小白学习日记(4)—— 本地端的第一个网站

本篇内容续 小白日记(3) 本地端的第一个网站 目录 1)web工程的创建,如下图 2)若要调入图片,在本地找到该工程的工作空间,在WebRoot目录下创建images目录(默认名为images&#xff…

Java web 学习日记(5)——云服务器端的第一个网站

本篇内容续 小白日记(4) 也可直接食用 云服务器端的第一个网站 目录 1)选中我们要使用的web工程,点击file菜单中的export 2)选择Java EE 中的 WAR包格式,点击next 3)步骤如图 4&#xff0…

linux云服务器部署springboot网站 jar包部署过程

首先对我们的项目进行打包,可以直接输入命令 mvn clean package 如果遇到过程test报错 可以选择右侧maven任务栏里的闪电图案,跳过test 使用filezilla连接我们的服务器,将jar包上传到指定文件夹 使用putty登录云服务器 一些命令介绍 cd /us…

java web项目部署云服务器实现外网访问网站

本文为学习经验分享,水平有限,若有问题还请多多包涵,多多交流。 目录 一、租用云服务器 二、配置云服务器 三、Mysql安装与配置 四、JDK的安装(重要) 五、Tomcat 的安装与部属(重点) 六、…

VS 发布网站的配置

此配置发布为已经编译的网站,并且不可查看源代码。 

一个图标下载网站(自用)

地址:http://www.iconfont.cn/collections/detail?cid29

国外免费Icon图标下载网站大全(共55个网站)

Icon 图标通常应用于对系统的美化和应用程序的UI设计中。但是随着Web2.0的大潮兴起,大而醒目的设计元素也日趋流行。你完全可以把图标应用到网站设计 中,比如菜单栏图标、分类图标等。现在,帕兰映像为你收集整理了下面50多个国外的免费Icon图…

14个超棒的带有故事趣味性视差滚动网站

随着css3属性的广泛支持,越来越被设计师所青昧 ,常常可以创造出惊人的网站作品出来,特别是视差滚动的出色表现。关于视差滚动在实现方面,在之前的文章中《利用JARALLAX实现超强视差滚动网页效果》也为大家介绍了一个小插件的实现方…

Asp.net 2.0 中将网站首页生成静态页的一个比较好的方法

做网站时,有时为了提高性能会将网站首页生成静态页(当然, Asp.net中页面缓存也是一个不错的选择了将页面生成静态的方法有多中,据不完全统计有N种(N>1)呵呵以下的方法来自 "孟子E " 解释的方法 代码如下 protected override void Render(HtmlTextWriter writer) …

抓取一个网站特定的全部图片(JAVA)

1. 目的 用五笔时,如果碰到不会拆的字,只好换回拼音。但这样做治标不治本,于是到网上找五笔反查工具。最后发现一个不错的网站——不仅有每个字对应的五笔码,还有其字根图。可惜的是,这是一个网站。换句说,…

轻松完成网站提速:来自Google、淘宝等的Nginx PageSpeed模块

mod_pagespeed于2010年发布,让网站管理员可以为其Web应用提速,而不需要深度的性能优化造诣。mod_pagespeed最初版本只作为Apache的模块,并不兼容Nginx这个最流行并为许多大型站点所使用的高性能开源网络服务器。如今Nginx的PageSpeed Beta版终…

大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上近来感觉有不少同学都很难明白为什么…

高性能网站架构设计之缓存篇(5)- Redis 集群(上)

转自:http://www.cnblogs.com/zhaoguihua/p/redis-005.html 集群技术是构建高性能网站架构的重要手段,试想在网站承受高并发访问压力的同时,还需要从海量数据中查询出满足条件的数据,并快速响应,我们必然想到的是将数…

设计相关的网站

来自:http://blog.csdn.net/leejizhou/article/details/51623082 李济洲的博客 ) 这篇文章给大家介绍几个设计相关的网站,因为博主除了软件开发以外还比较喜欢设计,据我观察了解程序员普遍审美都是比较差的,所以这次给大家推荐几…

linux企业实战 大型网站架构概述

大型网站架构概述 网站架构演化发展历程 初始阶段的网站(特点:没人)应用程序、数据库、文件都在一个服务器 应用服务和数据服务分离 随着网站业务的发展,-台服务器逐渐不能满足需求:性能越来越差,存储空间不足。这是就需要应用和数据分离 应用服务…

为程序员准备的7个国外社交网站

Forrst Forrest是为开发人员和设计师提供的一个新兴的地方,在这里可以分享代码和截图以及链接,启发你的灵感。如果你曾想为你的一块代码获得一些专业实诚 的建议;如果你在几个logo中没法做出决定的时候,Forrst正好适合你。此社区正…

技术网站

VC知识库:http://www.vckbase.com/; 0GiNr技术社区(我们的微型技术圈):http://krnl.info/; 看雪学院:http://bbs.pediy.com/; 在线编程挑战平台Interview Street:ht…

浏览器只有百度不能上网,其他网站上网正常

发现一个问题,困然了我几天,下班之前电脑好好的,都是正常,第二天上班,浏览器有关百度的网址全部打不开,还有部分网址也打不开,查看了host文件,更改刷新了dns,也更改了浏览…