大型互联网网站架构心得之一:分

news/2024/5/15 7:00:12/文章来源:https://blog.csdn.net/phphot/article/details/2567307
我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分:

首先是横向的分:

1. 大的网站化解为多个小网站:当我们一个网站有多个功能的时候,可以考虑把这个网站拆分成几个小模块,每一个模块可以是一个网站,这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。

2. 静态动态分离:静态文件和动态文件最好分离开成2个网站,我们知道静态网站和动态网站对服务器来说压力的侧重不同,前者可能重IO后者重CPU,那 么我们在选择硬件的时候也可以有侧重,而且静态和动态内容的缓存策略也不一样。典型的应用,我们一般会有独立的文件或图片服务器。

3. 按照功能来分:比如有一个模块是负责上传的,上传操作很消耗时间,如果和其它应用混在一起的话很可能,一点点访问就会使服务器瘫痪,这种特殊的模块应该分开。安全的不安全的也要分开,还需要考虑到以后SSL的购买。

4. 我们不一定要全部用自己的服务器,搜索、报表可以依靠别人的服务,比如google的搜索和报表服务,自己做的不一定比得过别人,服务器带宽都省了。

其次是纵向的分:

1. 文件也相当于数据库,IO的流量可能比数据库还大,这也算是纵向级别的访问,上传的文件图片一定要和WEB服务器分开。当然,数据库和网站都放在一个服务器上的很少了,这是最基本的。

2. 对于涉及到数据库访问的动态程序来说,我们可以使用一个中间层(所谓的应用层或逻辑层)来访问数据库(部署在独立的服务器上),最大的好处就是缓存 和灵活性。缓存的内存占用比较大,我们要把它和网站进程分开,而且这样做我们可以很方便的去改变一些数据访问的策略,即使到时候数据库有分布的话在这里可 以做一个调配工作,这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁,可能网通访问双线再访问电信会比网通直接访问电信服务器快。

有人说我不分,我可以做负载均衡,对,是可以的,但是如果分的话,同样的10台机器肯定比不分10台机器可以承受更多的访问量,而且对硬件的需求可能不会 很高,因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲,又都不是太忙,合理进行组合调整和扩充,这样的系统伸缩性就高了,能根据访问量来调整的 前提就是之前有考虑到分,分的好处是灵活性、伸缩性、隔离性以及安全性。

对服务器来说,我们有几点是要长期观察的,任何一点都可能是瓶颈:

1. CPU:动态文件的解析需要比较多的CPU,CPU出现瓶颈就要看是不是哪个功能过长时间占用线程,如果是就分出去。或者就是每一个请求处理时间不长,但是访问量很高,那么就加服务器。CPU是好东西,不能让他干等,不做事情。

2. 内存:缓存从IIS进程独立出去,一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快,要合理利用。

3. 磁盘IO:用性能监视器找到哪些文件IO特别大,找到了就分到独立的一组文件服务器上去,或者直接做CDN。磁盘慢,大规模读取数据的应用靠缓存,大规模写入数据的应用可以靠队列来降低突发的并发。

4. 网络:我们知道,网络的通讯是比较慢的,比磁盘还慢,如果是做分布式缓存,分布式计算的话,要考虑到物理服务器之间网络通讯的时间,当然,在流量大 了以后,这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分,在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。

对SQL SERVER数据库服务器来说[UPDATE]:

其实还是水平分割和纵向分割,一个二维表,水平分割就是横过来切一刀,纵向分割就是竖直切一刀:

1、纵向分割就是,我们不同的应用可以分到不同的DB中,不同的实例中,或者说把某个拥有很多字段的表拆分成小表。

2、横向分割就是,某些应用可能不负载,比如用户注册,但是用户表会非常大,可以把大表分开。可以采用表分区,数据存储在不同文件上,然后再部署到独立物 理服务器增加IO吞吐以改善读写性能,土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度,因为我们的页索引可以有多层 了,就像一个文件夹中的文件不要太多,多分几层文件夹一样。

3、还可以通过数据库镜像、复制订阅、事物日志,把读写分开到不同的镜像物理数据库上,一般来说够用,如果还不行可以用硬件来实现数据库的负载均衡。当然,对于BI,我们可能还会有数据仓库。 架构上考虑到了这些之后,流量大了,就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。

典型的架构如下:

动态WEB服务器配好点的CPU,静态WEB服务器和文件服务器磁盘好点 应用服务器内存大点,缓存服务器也是,数据库服务器当然内存和CPU都要好 请大家讨论。。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_771707.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ubuntu搭建PHP网站完整实例教程

原文是在我自己博客中,小伙伴也可以点阅读原文进行跳转查看,还有好听的背景音乐噢~之前写过两篇关于ubuntu系统搭建php环境的文章 Linux服务器域名绑定指定目录(ubuntu下apache2绑定多域名)Ubuntu一键安装LAMP环境在之后的多次实践中,发现有些…

如何一步一步抄出来一个网站的界面

对于新手来说,可以先找一本html的书看看,把基本的东西弄得差不多了,比如能写一个列表导航条,大概了解了浮动就差不多了。 然后找一个网页的截图,在ps里一点一点扣出来图片,把截图做成网页,尽量做…

css 单项选择块,纯CSS美化单选/复选框 - 傲世零零个人技术网站

纯CSS美化单选/复选框单选框:男 女复选框:旅游 爬山 游泳代码如下:html:纯CSS美化单选/复选框单选框:男女复选框:旅游爬山游泳css代码:.ul_box {margin:0 auto;padding:0;list-style:none;width…

互联网站总量达1.72亿Apache仍居第一

据Netcraft统计,互联网上的网站总量在今年6月份已经达到172338726个,一个月内增长了390万个,其中ThePlanet.com新增了63.2万个,使其成为全球第六大主机服务提供商. 不过虽然网站总量规模巨大,但活跃网站只有大约7000万个,约占总数的四成左右. 1995年8月至2008年6月全球互联网网…

自学宝典:10个学习Android开发的网站推荐

1. Android Developers 作为一个Android开发者,官网的资料当然不可错过,从设计,培训,指南,文档,都不应该错过,在以后的学习过程中慢慢理解体会。 2. Android Guides - CodePath CodePath是国外一…

网站页面大小和打开时间对于用户流失的分析

根据方凳的分析,如果一个网站的页面加载时间在5秒钟或者更少,用户离开(以关闭页面为准)的比例应该不会超过20%,而超过了五秒钟,用户流失的比例会按照每秒1-2%增加。一般的电脑都能在3-10秒内完成页面的加载…

SNS网站的世界分布图

该地图由国外网友Lemonde制作。从图中我们可以看到Facebook占据了加拿大和部分欧洲市场,Myspace则在美国和澳大利亚开花结果,除此之外还有一些国人不常用的Orkut、Cyworld(赛我)、hi5等社群服务。(很可惜没有中国的统计数据。) 背景介绍——什么是SNS&am…

SDL编程学习网站

前几天学校让用SDL做课程设计 ,参考了一些网上的东西,还真的给做出来了特此拿来和大家一块分享一下 SDL官方推荐教程(英文):http://lazyfoo.net/SDL_tutorials/index.php SDL中文教程 SDL入门教程(一&…

Chrome 如何知道网站启用了SPDY 协议?

地址栏输入chrome://net-internals/#spdy 在host后查看协议,google和dropbox用https协议的开启了3. 也可以通过安装插件来查看(SPDY Indicator)

html+css个人博客_html制作个人博客网站模板源码下载

该从哪里开始呢?好久没来,有点生疏,有点茫然,那就按常规套路来吧,首先对你们的驻足说声3q,本次分享的是一款个人博客设计,主题为《周末s博客》,本来代码算是早就写好,但因…

网站运营的4点经验

2019独角兽企业重金招聘Python工程师标准>>> 基本情况:我在阿里云-万网,注册了 域名,买了云服务器,并备案。 有些经验,总结下来。 1.关于域名。 ..cn 域名,必须备案后,才能解析。 .c…

php突破ua限制,php cul突破防爬虫,服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站...

我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)(最新补充:宜搜蜘蛛已…

网站加速新时代 阿里云CDN推出全站加速服务

为什么80%的码农都做不了架构师?>>> 中国网速仍处于中游 用户体验亟待提升 根据数据报道,截止今年6月份,中国的网民达到了7.51亿,超过全球平均水平4.6个百分点,中国网站的数量已经达到482万个,…

使用 docker 搭建lnmp网站平台安装博客

1.环境准备系统环境:rootubuntu:~$ cat /etc/issueUbuntu 16.04.3 LTS \n \lrootubuntu:~$ sudo uname --mx86_64 docker 环境:rootubuntu:~# docker versionClient:Version: 17.09.0-ceAPI version: 1.32Go version: go1.8.3Git commit: afdb6d4Built: …

用JS写一个网站树形菜单

先上效果图&#xff1a; 主体内容就是侧边展示的一二三级菜单&#xff0c;树形结构的。 前端页面布局内容&#xff0c;页面内容简单用ul li 来完成所有的罗列项。用先后顺序来区分一级二级三级&#xff1a; <body><b><img src"images/fold.gif">…

国内主流SNS网站之---数据分析整理

2008年国内互联网界给我感受最深的是&#xff1a;忽如一夜春雨&#xff0c;SNS网站纷纷涌了出来&#xff0c;前有校内&#xff0c;占座&#xff0c;中有海内、开心、一起、蚂蚁、豆瓣&#xff0c;后有5G&#xff0c;TW&#xff0c;国内SNS领域进入群雄割据阶段。 最近几个月&am…

SharePoint Online 创建门户网站系列之准备篇

前 言 门户是SharePoint自推出以来&#xff0c;就非常适合的一种站点类型&#xff0c;在Server版本中&#xff0c;发布站点的应用非常广泛。这里&#xff0c;我们以一个个简单的例子&#xff0c;然后以一个固定的项目Demo&#xff0c;为大家演示如何一步步在SharePoint Online中…

腾讯云服务器手动和自动安装WordPress网站程序

如果我们需要建站的话&#xff0c;对于基础个人网站、博客建站选择基础的1Mbps带宽配置的1GB内存的腾讯云服务器还是够用的&#xff0c;且如果我们需要用来建网站的话可以手工添加程序&#xff0c;以及有些面板&#xff0c;比如宝塔面板是自带CMS程序可以直接快速安装WordPress…

MVC5 网站开发之六 管理员 2、添加、删除、重置密码、修改密码、列表浏览

目录 奔跑吧&#xff0c;代码小哥&#xff01; MVC5网站开发之一 总体概述 MVC5 网站开发之二 创建项目 MVC5 网站开发之三 数据存储层功能实现 MVC5 网站开发之四 业务逻辑层的架构和基本功能 MVC5 网站开发之五 展示层架构 MVC5 网站开发之六 管理员 1、登录、验证和注销 MVC…

网站注册图形验证码

后台代码&#xff1a;package cn.itcast.shop.user.action;import java.awt.Color; import java.awt.Font; import java.awt.Graphics; import java.awt.Graphics2D; import java.awt.p_w_picpath.BufferedImage; import java.util.Random;import javax.p_w_picpathio.ImageIO;…