大型网站系统架构分析

news/2024/5/20 13:20:56/文章来源:https://blog.csdn.net/iteye_4515/article/details/81996065

千万级的注册用户,千万级的帖子,nTB级的附件,还有巨大的日访问量,大型网站采用什么系统架构保证性能和稳定性?

首先讨论一下大型网站需要注意和考虑的问题。

  • 数据库海量数据处理:负载量不大的情况下select、delete和update是响应很迅速的,最多加几个索引就可以搞定,但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下,更新一个聚焦索引的时间基本上是不可忍受的。索引和更新是一对天生的冤家。
  • 高并发死锁:平时我们感觉不到,但数据库死锁在高并发的情况下的出现的概率是非常高的。
  • 文件存储的问题:大型网站有海量图片数据、视频数据、文件数据等等,他们如何存储并被有效索引?高并发的情况下IO的瓶颈问题会迅速显现。也许用RAID和专用存贮服务器能解决眼下的问题,但是还有个问题就是各地的访问问题,也许我们的服务器在北京,可能在云南或者新疆的访问速度如何解决?如果做分布式,那么我们的文件索引以及架构该如何规划。

接下来讨论大型网站的底层系统架构,来有效的解决上述问题。

毋庸置疑,对于规模稍大的网站来说,其背后必然是一个服务器集群来提供网站服务,例如,2004年eBay的服务器有2400台,估计现在更多。当然,数据库也必然要和应用服务分开,有单独的数据库服务器集群。对于像淘宝网这样规模的网站而言,就是应用也分成很多组。


下面,就从服务器操作系统与Web服务器、数据库、服务器集群与负载均衡、缓存、独立的图片服务器、其它等几个方面来分析大型网站的系统架构。

服务器操作系统与Web服务器

最底层首先是操作系统。好的操作系统能提高好的性能、稳定性和安全性,而这些对大型网站的性能、安全性和稳定性都是至关重要的。

  • 淘宝网(阿里巴巴): Linux操作系统 + Web 服务器: Apache
  • 新浪:FreeBSD + Web 服务器:Apache
  • Yahoo:FreeBSD + Web 服务器:自己的
  • Google: 部分Linux + Web 服务器:自己的
  • 百度:Linux + Web 服务器: Apache
  • 网易:Linux + Web 服务器: Apache
  • eBay: Windows Server 2003/8 (大量) + Web 服务器:Microsoft IIS
  • MySpace: Windows Server 2003/8 + Web 服务器:Microsoft IIS

由此可见,开源操作系统做Web应用是首选已经是一个既定事实。在开源操作系统中Linux和FreeBSD差不太多,很难说哪个一定比另外一个要优秀很多、能够全面的超越对手,应该是各有所长。但熟悉Linux的技术人员更多些,利于系统管理、优化等,所以Linux使用更广泛。而Windows Server和IIS虽然有的网站使用,但不开源,而且需要购买微软的一系列应用产品,限制了其使用。总之,开源操作系统,尤其是Linux做Web应用是首选已经是一个既定事实。

常用的系统架构是:

  • Linux + Apache + PHP + MySQL
  • Linux + Apache + Java (WebSphere) + Oracle
  • Windows Server 2003/2008 + IIS + C#/ASP.NET + 数据库

数据库

因为是千万人同时访问的网站,所以一般是有很多个数据库同时工作的,说明白一点就是数据库集群和并发控制,数据分布到地理位置不同的数据中心,以免发生断电事故。

主流的数据库有Sun的是MySQL和Oracle。

Oracle是一款优秀的、广泛采用的商业数据库管理软件。有很强大的功能和安全性,可以处理相对海量的数据。而MySQL是一款非常优秀的开源数据库管理软件,非常适合用多台PC Server组成多点的存储节点阵列(这里我所指的不是MySQL自身提供的集群功能),每单位的数据存储成本也非常的低廉。用多台PC Server安装MySQL组成一个存储节点阵列,通过MySQL自身的Replication或者应用自身的处理,可以很好的保证容错(允许部分节点失效),保证应用的健壮性和可靠性。可以这么说,在关系数据库管理系统的选择上,可以考虑应用本身的情况来决定。

MySQL数据库服务器的master-slave模式,利用数据库服务器在主从服务器间进行同步,应用只把数据写到主服务器,而读数据时则根据负载选择一台从服务器或者主服务器来读取,将数据按不同策略划分到不同的服务器(组)上,分散数据库压力。

服务器集群与负载均衡

服务器群集中每个服务结点运行一个所需服务器程序的独立拷贝,而网络负载均衡则将工作负载在这些主机间进行分配。负载均衡建立在现有网络结构之上,它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。它主要完成以下任务:解决网络拥塞问题,服务就近提供,实现地理位置无关性 ;为用户提供更好的访问质量;提高服务器响应速度;提高服务器及其他资源的利用效率;避免了网络关键部位出现单点失效。

常用的服务器集群和数据库集群负载均衡实现方法:

  • Citrix NetScaler的硬件负载均衡交换机做服务器集群的负载均衡。
  • MySQL Proxy做MySQL服务器集群的负载均衡并实现读写分离。其实现读写分离的基本原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。
  • CDN (Content Delivery Network): 几乎在各大网站都有使用该技术。例如,使得你的网站在各省市访问更快,其原理是采取了分布式网络缓存结构(即国际上流行的web cache技术),通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的cache服务器内,通过DNS负载均衡的技术,判断用户来源就近访问cache服务器取得所需的内容,解决Internet网络拥塞状况,提高用户访问网站的响应速度,如同提供了多个分布在各地的加速器,以达到快速、可冗余的为多个网站加速的目的。

缓存

众所周知,使用缓存能有效应对大负载,减少数据库的压力,并显著提高多层应用程序的性能,如果某个用户多次请求同一资源,则可以从缓存返回该资源,从而避免了重新从服务器或数据库请求该资源而产生的系统开销。缓存可以通过减少获取请求的资源所需的时间,提高应用程序性能。缓存还可以通过减少到服务器的往返次数,降低网络通信量。尽管缓存可以提高性能,但它也增加了返回到应用程序的资源可能变得陈旧的风险。这意味着,返回的资源可能与假设没有使用缓存的情况下,服务器有可能发送的资源并不完全相同(即取得“脏数据”)。

即便如此,简单的缓存策略也能大大提升网站性能。例如,Youtube把首页最新的视频列表缓存60秒,也就是说60秒内并发的request都是从缓存读取的,大大减少了数据库压力。再加上CDN,使得Youtube首页的并发访问速度很快。

单机内存缓存、文件缓存、数据库缓存等的策略都是可以很简单的实现的,例如可以使用微软的Caching Application Block,但如何在集群环境中使多个缓存、多层缓存并保存同步是个重大问题。大型网站一般都使用缓存服务器群,并使用多层缓存。业内最常用的有:

  • Squid cache,Squid服务器群,把它作为web服务器端前置cache服务器缓存相关请求来提高web服务器速度。Squid将大部分静态资源(图片,js,css等)缓存起来,直接返回给访问者,减少应用服务器的负载
  • memcache,memcache服务器群,一款分布式缓存产品,很多大型网站在应用; 它可以应对任意多个连接,使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自管理这些HashTable。因为通常网站应用程序中最耗费时间的任务是数据在数据库的检索,而多个用户查询相同的SQL时,数据库压力会增大,而通过memcache的查询缓存命中,数据直接从memcache内存中取,每次缓存命中将替换到数据库服务器的一次往返,到达数据库服务器的请求更少,间接地提高了数据库服务器的性能,从而使应用程序运行得更快。它通过基于内存缓存对象来减少数据库查询的方式改善网站系统的反应,其最吸引人的一个特性就是支持分布式部署。有关memcache,以下文章可以参考:参考1参考2参考3官方站点
  • e-Accelerator,比较特殊,PHP的缓存和加速器。是一个免费开源的PHP加速、优化、编译和动态缓存的项目,它可以通过缓存PHP代码编译后的结果来提高PHP脚本的性能,使得一向很复杂和离我们很远的 PHP脚本编译问题完全得到解决。通过使用eAccelerator,可以优化你的PHP代码执行速度,降低服务器负载,可以提高PHP应用执行速度最高达10倍。

独立的图片服务器

无论从管理上,还是从性能上看,只要有可能,尽量部署独立的图片服务器。这几乎成为常识了。具备独立的图片服务器或者服务器集群后,在 Web 服务器上就可以有针对性的进行配置优化。

其他

一个互联网应用,除了服务器的操作系统,Web Server软件,应用服务器软件,数据库软件外,我们还会涉及到一些其他的系统,比如一些中间件系统、文件存储系统(图片服务器,视频服务器,管理服务器,RSS和广告服务器等等)、全文检索、搜索、等等。会在以后介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_774527.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

web网站加速之CDN(Content Delivery Network)技术原理

在不同地域的用户访问网站的响应速度存在差异,为了提高用户访问的响应速度、优化现有Internet中信息的流动,需要在用户和服务器间加入中间层CDN. 使用户能以最快的速度,从最接近用户的地方获得所需的信息,彻底解决网络拥塞,提高响应速度&…

开发竞赛作品展示网站上线!

每年的Esri开发竞赛都会看到来自全国各地同学们的大作,今年报名、参赛学校和作品更是创历史新高,许多优秀作品涌现出来。为了充分发掘这些作品的价值,我们团队的小蜜蜂们将2010年的获奖作品搬到网络,建立了开发大赛作品展示站点&a…

开发竞赛作品展示网站上线!

每年的Esri开发竞赛都会看到来自全国各地同学们的大作,今年报名、参赛学校和作品更是创历史新高,许多优秀作品涌现出来。为了充分发掘这些作品的价值,我们团队的小蜜蜂们将2010年的获奖作品搬到网络,建立了开发大赛作品展示站点&a…

论坛php网站模板,自适应discuz论坛门户网站模板

网站模板说明及安装方法:模板完美支持自适应宽窄屏切换功能,采用DX最新的DIY调用缓存机制,数据调用,设置简单容易上手,数据图片自动生成缩略图, 有效解决调用图片变形失真问题, 对页面速度也有一定提高,页面…

读书:《SEO实战密码》

作者:魏武挥 来源: It Talks 新加坡人昝辉Zac于09年曾出过一本《网络营销实战密码:策略、技巧、案例》,书名虽然波澜不惊,但那本书,在我看来,是最好的营销实战宝典,尤其适合一些刚刚起步的中小型…

Python爬虫之爬取网站图片

暑假在家练科三的时候无聊突然想重拾Python,之前简单的学了学Python2的语法,但以后主流是Python3,就下了Python3,pycharm对着别人的教程试了试爬虫,我之前python2的时候爬虫主要用urllib,urllib2这两个,然后…

网站运营之比较和差异化

网站运营之比较和差异化 人类内心有很多情绪,其中一种最基本的情绪是嫉妒。人类社会的幸福不在于你拥有什么,而在于比较。这个比较可能是负面的,也可能是正面的。比如说,良好的竞争,这是一种正向的比较,能…

网站运营之前后一致

网站运营之前后一致 谈判大师罗杰道森在谈个人影响力时提到“敬畏力”的概念,认为敬畏力来自于人们言行一致的力量。有些人的敬畏力强,有些人的敬畏力弱。但是不管如何,大多数人都有一个心理趋向,即保持前后一致。人们不太喜欢前…

一个使用Ruby on Rails开发LBS网站的简单实例

一个使用Ruby on Rails开发LBS网站的简单实例 cheungmine 2011-7 这几天一直在学习使用Ruby on Rails(RoR),想建立一个功能全面一点的LBS(Location Based Service)网站。但是对于我这个RoR的初学者(仅有几天时间)来说,毕竟太复杂…

实战SEO——实用技法与案例剖析

实战SEO——实用技法与案例剖析 藏锋者编著 ISBN978-7-121-14273-4 2011年9月出版 定价:55.00元 16开 472页 内 容 简 介 本书针对SEO细节操作、技术实施、实际案例进行了详细分析,主要包括建站前的SEO策划、网站上线前的本地SEO、上线后的SEO方…

网站结构优化的基本方法

网站结构优化的基本方法 网站结构优化就是对网站页面的存储方式(物理结构)、内部链接关系(逻辑结构)进行合理的调整,以减少网站的目录层级,优化普通页面与重要页面之间的链接深度,增加重要页面…

什么是网站物理结构、逻辑结构

什么是网站物理结构、逻辑结构 网站结构分为物理结构和逻辑结构两种,很多刚刚接触SEO的新手,往往搞不清楚物理结构和逻辑结构的异同,进而造成自己的网站结构规划很乱,不但搜索引擎不容易快速建立起网站的整体结构体系&#xff0c…

NoJS的网站数据统计

目前主流的网站分析工具都是通过JavaScript来实现数据的获取的,如Google Analytics就是通过在网页中嵌入一段JS代码,当该网页被浏览时,JS代码被加载,就会向Google Analytics的数据收集服务器发送用户浏览该网页的相应数据&#xf…

Freestyle第4期之网站前端安全分享XSS进阶篇

写在前面 2 知识回顾 2 XSS的定义2 XSS的危害2 XSS的产生3 如何攻击 4 深入解读XSS4 XSS分类4 XSS出现场景4 实战XSS9 攻击篇 9 防御篇 10 其他 11 写在前面 本周五为大家带来的是安全分享之XSS的进阶篇,这部分的内容是基于前2次的安全分享的基础之上的,…

苹果cms模板_苹果cms怎么做seo?

苹果cms怎么做seo?苹果cms怎么做seo?点击查看:苹果cms如何修改分类的标题、关键字、描述等seo参数为了让自己的网站排名更靠前,现在很多网站都在做SEO优化,对于很多网站来说,都想通过搜索引擎来让自己的网站…

动态网站的技术路线_3个会让你上瘾的小网站!第三个特别好玩

感谢你关注“最佳应用”每篇文章解决某行业或某人群的一个痛点第八十四期原创文章By:小佳昨天刷抖音听了一首很有魔性的歌曲,结果分享到社交平台,没想到被很多键盘侠喷了,留言全是批判“审美有毒”,这种垃圾歌曲能火就…

怎么去调需要登录的接口_Java 爬虫遇到需要登录的网站,该怎么办?

点击上方“平头哥的技术博文”,选择“关注公众号”技术文章第一时间送达!这是 Java 网络爬虫系列博文的第二篇,在上一篇 Java 网络爬虫,就是这么的简单 中,我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中…

访问虚拟机上的本地网站

我的小程序: 待办计划:给自己立个小目标吧!1首先检查虚拟机是否安装httpd服务,命令:rpm -q httpd;若显示下图内容,说明已安装,进入步骤2,否则需要你安装httpd服务; 2.查看…

手机访问本地电脑网站

1.前提是手机和电脑处于同一个局域网内; 2.查看电脑ip,手机浏览器输入该ip访问,若提示不能打开网页进入步骤3;若提示403 forbidden,进入步骤4; 3.手动开放防火墙80端口,参考http://jingyan.ba…

win2008r2发布php网站,Server2008r2发布wordpress站点(环境)

1. 安装vcredist_x64.exe2. 解压php解释器&#xff0c;即 php-5.6.37-nts-Win32-VC11-x64.zip3. 配置php.ini拷贝php.ini-development&#xff0c;改名为php.ini&#xff0c;并进行如下修改&#xff1a;<1>扩展插件的路径 extension_dir “c:\PHP\ext”<2>设置要引…