大型网站架构技术一览

news/2024/5/9 16:26:00/文章来源:https://blog.csdn.net/yumushui/article/details/45563527


        对于大型网站技术的理解,可以从架构技术原理的组织方式以架构要素作为维度,从系统性能、可用性、伸缩性、扩展性、安全性几个角度阐述网站架构的技术要点。还有另一种较为直观的组织方式,是从不同架构层次所使用的网站架构技术这个维度进行描述的。

        网站系统架构层次如下图所示:


        这个网站架构层次,共分为8个层次,其中数据库中心机房架构是上面所有架构的物理基础;安全架构和数据库采集监控架构是贯穿在各个层次的重要保障,这两个架构主要解决五个业务相关层次的安全问题和数据采集监控问题,是一直都需要关注的地方;
        对于目前的大型网络来看,可以分为前端、应用层、服务层、存储层、后台等5个方面,简单来说,前端存放的是静态网页,不涉及业务,就是为了客户端能够及时响应,并展现一些静态内容;应用层是处理业务逻辑的地方,前端开发的代码,主要就是发布在这个地方,实际用户的各种业务处理,也主要在这个地方进行;服务层介于应用层和存储层之间,主要为两者提供各种分布式服务,比如分布式缓存,能减少存储层的压力,并尽快响应应用层的请求,提高性能;存储层是存放各种业务数据的地方,包括关系型、非关系型数据库、文件已经它们之间的数据同步;上面4个层次可以说是实时的业务功能,有一个层次出现问题,就会直接影响用户体验,在这4个层次后面,还有一个后台,它是不直接与用户沟通,但从上面的业务中通过搜索引擎、数据仓库、推荐系统等,创造更加有价值的信息,在后台为业务提供支撑。


1.前端架构
        (包括:浏览器优化技术、CDN、动静分离,静态资源独立部署、图片服务、反向代理、DNS等7种技术)
        前端指用户请求到达网站应用服务器之前经历的环节,通常不包含网站业务逻辑,不处理动态内容。一般打开网页或界面时,一输入URL就可以看到的信息,就属于这部分,然后再慢慢加载的,就是后面业务层的内容了,因为内容都是静态的,不会发生改变,所有可以在各个地方准备好,放在CDN中,达到瞬时响应的效果。为了实现这样的效果,有下面几种架构技术:


浏览器优化技术
        并不是优化浏览器,而是通过优化响应页面,加快浏览器页面的加载和显示,常用的有页面缓存、合并HTTP减少请求次数、使用页面压缩等。


CDN
        内容分发网络,部署在网络运营商机房,通过将静态页面内容分发到离用户最近最近的CDN服务器,使用户可以通过最短路径获取内容。


动静分离,静态资源独立部署
        静态资源,如JS、CSS等文件部署在专门的服务器集群上,和Web应用动态内容服务分离,并使用专门的(二级)域名。


图片服务
        图片不是指网站Logo、按钮图标等,这些文件属于上面提到的静态资源,应该和JS、CSS部署在一起。这里的图片指用户上传的图片,如产品图片、用户头像等,图片服务同样适用独立部署的图片服务器集群,并使用独立(二级)域名。


反向代理
        部署在网站机房,在应用服务器、静态资源服务器、图片服务器之前,提供页面缓存服务。


DNS
        域名服务,将域名解析成IP地址,利用DNS可以实现DNS负载均衡,配置CDN也需要修改DNS,使域名解析后指向CDN服务器。


2.应用层架构
        (包括:开发框架、页面渲染、负载均衡、Session管理、动态页面静态化、业务拆分、虚拟化服务器等7种技术)
        应用层是处理网站主要业务逻辑的地方。一般说的使用PHP或则Java等技术实现的网络逻辑和前端框架,就是指这部分的内容,该部分是交互式业务实现的主要层次,相应的架构技术有:

开发框架
        网站业务是多变的,网站的大部分软件工程师都是在加班加点开发网站业务,一个好的开发框架至关重要。一个号的开发框架应该能够分离关注面,使美工、开发工程师可以各司其事,易于协作。同时还应该内置一些安全策略,防护Web用攻击。


页面渲染
        将分别开发维护的动态内容和静态页面模板集成起来,组合成最终显示给用户的完整页面。


负载均衡
        将多台应用服务器组成一个集群,通过负载均衡技术将用户请求分发到不同的服务器上,以应对大量用户同时访问时产生的高并发负载压力。


Session管理
        为了实现高可用的应用服务器集群,应用服务器通常设计为无状态,不保存用户请求上下文信息,但是网站业务通常需要保持用户会话信息,需要专门的机制管理Session,使集群内甚至跨集群的应用服务器可以共享Session。


动态页面静态化
        对于访问量特别大而更新又不很频繁的动态页面,可以将其静态化,即生成一个静态页面,利用静态页面的优化手段加速用户访问,如反向代理、CDN、浏览器缓存等。


业务拆分
        将复杂而庞大的业务拆分开来,形成多个规模较小的产品,独立开发、部署、维护,除了降低系统耦合度,也便于数据库业务分库。按业务对关系数据库进行拆分,技术难度相对较小,而效果又相对较好。


虚拟化服务器
        将一台物理服务器虚拟化成多态虚拟服务器,对于并发访问较低的业务,更容易用较少的资源构架高可用的应用服务器集群。


3.服务层架构
        (包括:分布式消息、分布式服务、分布式缓存、分布式配置等4种技术)
        提供基础服务,供应用层调用,完成网站业务。服务层介于应用层和存储层之间,顾名思义就是为应用层提供各种服务的,而服务层本身内容的来源,又可能与存储层有关,比如缓存就是将存储层中的一部分数据做以加工和展现,供应用层快速调用的。服务层的架构技术主要是几种分布式的服务功能:

分布式消息
        利用消息队列机制,实现业务和业务、业务和服务之间的异步消息发送及低耦合的业务关系。


分布式服务
        提供高性能、低耦合、易复用、易管理的分布式服务,在网站实现面向服务架构(SOA)。


分布式缓存
        通过可伸缩的服务器集群提供大规模热点数据的缓存服务,是网站性能优化的重要手段。


分布式配置
        系统运行需要配置许多参数,如果这些参数需要修改,比如分布式缓存集群加入新的缓存服务器,需要修改应用程序客户端的缓存服务器列表配置,并重启应用程序服务器。分布式配置在系统运行期提供配置动态推送服务,将配置修改实时推送到应用系统,无需重启服务器。


4.存储层架构
        (包括:分布式文件、关系数据库、NoSQL数据库、数据同步等4种技术)
        提供数据、文件的持久化存储访问与管理服务。该层次也是一般意义上的数据库层,主要用来存放各种数据的,当然在大型网站中数据层的概念,不仅包括传统关系型数据库,还包括分布式文件数据,nosql数据库以及数据同步技术。存储层的架构技术主要有:

分布式文件
        网站在线业务需要存储的文件大部分都是图片、网页、视频等比较小的文件,但是这些文件的数量非常庞大,而且通常都在持续增加,需要伸缩性设计比较好的分布式文件系统。



关系数据库
        大部分万丈的主要业务是基于关系数据库开发的,但是关系数据库对集群伸缩性的支持表较差。通过在应用程序的数据访问层增加数据库访问的路由功能,根据业务配置将数据库访问路由到不同的物理数据库上,可实现关系数据库的分布式访问。


NoSQL数据库
        目前各种NoSQL数据库层出不穷,在内存管理、数据模型、集群分布式管理等方面各有优势,不过从社区活动性角度看,HBase无疑是目前最好的。


数据同步
        在支持全球范围内数据共享的分布式数据库技术成熟之前,拥有多个数据中心的网站必须在多个数据中心之间进行数据同步,以保证每个数据中心都拥有完整的数据。在实践中,为了减轻数据库压力,将数据库的事物日志(或者NoSQL的写操作Log)同步到其他数据中心,根据Log进行数据重演,实现数据同步。


5.后台架构
        (包括:搜索引擎、数据仓库、推荐系统等3种技术)
        网站应用中,除了要处理用户的实时访问请求外,还有一些后台非实时数据分析要处理。后台架构主要是进行一些非实时操作,对前端业务处理提供支撑,主要的架构技术有:

搜索引擎
        即使是网站内部的搜索引擎,也需要进行数据增量更新及全量更新、构建索引等。这些操作通过后台系统定时执行。


数据仓库
        根据离线数据,提供数据分析与数据挖掘服务。


推荐系统
        社交网站及购物网站通过挖掘人与人之间的关系,人和商品之间的关系,发展潜在的人际关系和购物兴趣,为用户提供个性化推荐服务。


6.数据采集与监控
        (包括:浏览器数据采集、服务器业务数据采集、服务器性能数据采集、系统监控、系统报警等5种技术)
        监控网站访问情况与系统运行情况,为网站运营决策和运维管理提供支持保障。数据采集与监控存在于整个业务架构的生命周期,在业务上线后,业务运行状态是否正常,运维人员日常做的主要工作,就是数据采集与监控,在业务系统发生故障或者性能问题时,也需要改系统进行支持和问题定位,进而解决问题。该层次的主要架构技术有:

浏览器数据采集
        通过在网站页面中嵌入JS脚本采集用户浏览器环境与操作记录,分析用户行为。


服务器业务数据采集
        服务器业务数据包括两种,一种是采集在服务器端记录的用户请求操作日志;一种是采集应用程序运行期业务数据,比如待处理消息数目等。


服务器性能数据采集
        采集服务器性能数据,如系统负载、内存使用率、网卡流量等。


系统监控
        将前述采集的数据以图表的方式展示,以便运营和运维人员监控网站运行状况,做到这一步仅仅是系统监视。更先进的做法是根据采集的数据进行自动化运维,自动处理系统异常状况,是吸纳自动化控制。


系统报警
        如果采集来的数据超过预设的正常情况的阀值,比如系统负载过高,就通过邮件、短信、语音电话等方式发出警报信号,等待工程师干预。


7.安全架构
        (包括:Web攻击、数据保护等2种技术)
        保护网站免遭攻击及敏感信息泄露。安全也业务能够正常运行的一个非常重要的问题,安全主要有两方面,一是来自外边的攻击与防护,会影响到网站业务的可用性和性能;二是网站内部的数据安装和保护,会影响到数据层总的敏感信息。安全架构技术主要有:

Web攻击
        以HTTP请求的方式发起的攻击,危害最大的就是XSS和SQL注入攻击。但是只要措施得当,这两种攻击都是比较容易防范的。


数据保护
        敏感信息加密传输与存储,保护网站和用户资产。


8.数据中心机房架构
        (包括:机房架构、机柜架构、服务器架构等3种技术)
        大型网站需要的服务器规模数以十万计,机房物理架构也需要关注。对于大型网络系统来说,物理服务器数量必然是非常巨大的,这样在机房、机柜、服务器等层次都要有相应的规划,这样才能比较好的支撑上面的各个层次。

机房架构
        对于一个拥有十万台服务器的大型网站,每台服务器耗电(包括服务器本身耗电及空调耗电)每年大约需要人民币2000元,那么网站每年机房电费就需要两亿人民币。数据中心能耗问题日趋严重,Google、Facebook选择数据中心地理位置的时候趋向选择散热良好,供电充裕的地方。


机柜架构
        包括机柜大小,网线布局、指示灯规格、不间断电源、电压规格(是48V直流电还是220V民用交流电)等一系列问题。


服务器架构
          大型网站由于服务器采购规模庞大,大都采用定制服务器的方式代替购买服务器整机。根据网站应用需求,定制硬盘、内存、甚至CPU,同时去除不必要的外设接口(显示器输出接口,鼠标、键盘输入接口),并使空间结构利于散热。







本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_870732.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IIS配置MVC网站

我自己随便写了个MVC网站,能够 在vs2010里直接运行。但是加到IIS里之后却显示403.14错误,说是服务器没有启动“目录浏览”或没指定默认的文件。 当然,我没有必要启动“目录浏览”,又因为MVC是由router来控制的,我也没…

最近网站写完后,需更改协议,所以将原先http协议改为了https导致页面有些资源被浏览器阻止请求了

以下是将网站改为https协议后 浏览器爆的错 什么是Mixed Content 混合内容(Mixed Content)在以下情况下出现:初始 HTML 内容通过安全的 HTTPS 连接加载,但其他资源(例如,图像、视频、样式表、脚本&#xf…

大型网站架构系列:负载均衡详解(1)

大型网站架构系列:负载均衡详解(1) 文章出处 负载均衡详解 发布日期:2016年03月23日 来源: PHP1.CN 摘要:面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型…

Web网站打包成APP

appcan是国内比较老牌的平台 apicloud是新起之秀 phonegap是国外的大牌。 长期来看,phonegap是开源的,理所当然是技术最好。但是中文资料较少,国内应用的也不多。 appcan近期被apicloud蹂躏得不行不行的,基本全方位被碾压了。渐渐…

【JavaWeb学习,快一起呀,干!】第三章 Servlet 核心接口(3)—— 网站访问计数实现

开门见山的说 逸夫楼今天废了?屋漏偏逢连夜雨,道是无情却有情。凎! ServletContext 对象一个很神奇的东西,一个 Web 应用只会有一个。 我们可以把 ServletContext 对象理解为容器内一个共享空间,可以存储具有应用级…

十大免费CMS建站系统介绍(PHP+MYSQ…

这里为需要建站但又徘徊的朋友介绍10个免费PHPMySql平台下的CMS内容管理系统,可能会对你的选择有指导作用。 1. Joomla! 一套在国外相当知名的内容管理系统,2007年开源cms第一名!Joomla!是使用PHP 语言加上MySQL数据库所开发的软件系统,可以…

【大型网站技术实践】初级篇:借助LVS+Keepalived实现负载均衡

一、负载均衡:必不可少的基础手段 1.1 找更多的牛来拉车吧 当前大多数的互联网系统都使用了服务器集群技术,集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务,这些集群可以是Web应用服务器集群,也可以是数据库服…

博客网站终于可以上线了 www.cnopenblog.com

最近一直在忙于开发自己的博客网站,现在终于可以和大家见面了!http://www.cnopenblog.com 欢迎大家访问拍砖

非常炫的网页,可以用于制作漂亮的网站!

Juqery特效模板网站:http://www.17sucai.com/tags/1/4/0/208 模板一 下载地址: http://www.17sucai.com/pins/626.html 预览地址: http://www.17sucai.com/pins/demoshow/626 实际网站: http://www.ruifox.com/ 模板二 下载地址&a…

开源jQuery插件推荐 帮你快速构建单页网站!

单页网站将成为网站设计的主要趋势之一。其将设计元素减为最少,将访问者关心的核心内容放在最显眼位置,提高了网站效率。有一些jQuery插件可大大提高单页网站的开发效率,如Single Page Nav、Ascensor.js等。 单一页面网站(单一页面…

Mozilla开源TogetherJS:让网站拥有实时协作功能!

TogetherJS是一款免费开源的JavaScript库,开发者可以利用它给网站添加实时协作功能,并且内置许多功能,如视频、语音聊天、内容实时同步、获取用户实时焦点等。 TogetherJS是由Mozilla打造的一款可以给网站添加实时协作功能的JavaScript库&…

Squid代理服务器介绍-网站加速技术

http://os.51cto.com/art/201009/225813.htm 巧用Squid的ACL和访问列表实现高效访问控制 Squid代理服务器是一个缓存Internet数据的软件,可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议,提高用户下载页面的速度,并设置过滤。使用Squid可以通过访…

Squid代理服务器介绍-网站加速技术

巧用Squid的ACL和访问列表实现高效访问控制 Squid代理服务器是一个缓存Internet数据的软件,可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议,提高用户下载页面的速度,并设置过滤。使用Squid可以通过访问控制特性来灵活的控制用户访问时间、站点等…

李平:大型网站的灵魂——性能

在前一篇随笔 大型网站系统架构的演化中,介绍了大型网站的演化过程,期间穿插了一些技术和手段,我们可以从中看出一个大型网站的轮廓,但想要掌握设计开发维护大型网站的技术,需要我们一步一步去研究实践。所以我打算写一…

周末入手一台公测版M8,连夜为它改了网站,帆船书会M8版

周末入手一台公测版M8,用起来感觉非常好,我女朋友有台iPhone,我感觉M8跟iPhone相比各有千秋, 希望大家支持国货,相信魅族! 我是帆船书会的站长,M8入手后我连夜修改帆船书会,改了个M8…

【docsify】为网站写一个说明文档

【docsify】为网站写一个说明文档 !官方部署文档 全局安装 npm i docsify-cli -g初始化项目 在项目文件夹下,初始化 docsify init ./docs会生成三个文件 ./docs 下 index.html作为入口文件README.md作为主页.nojekyll防止 GitHub Pages 忽略以下…

Java开源建站工具

2011-08-12 09:22 | 4162次阅读 | 【已有12 条评论】发表评论 来源:阮一峰的网络日志 | 收藏到我的网摘 美国程序员Jon Scott Stevens,公布了他的创业公司所使用的开发工具清单 。 他的语言平台是Java,开发项目是一个网站(还…

转:有了这些网站,英文论文再也不难写了(15个英文论文写作辅助网站介绍和使用技巧)

大家在写英文论文的时候,都会遇到这样一些情况:句子写不出来想找一个例句参考,想搜索一下单词的搭配和习惯用法、想核对自己写的句子是否正确等等。 下面给大家介绍的网站主要在写英文论文的时候,可以提供例句参考、单词搭配和用…

IIS - 自动申请、部署Let’s Encrypt的免费SSL证书(让网站实现HTTPS协议)

IIS - 自动申请、部署Let’s Encrypt的免费SSL证书(让网站实现HTTPS协议) 一、HTTPS 协议介绍 1,什么是 HTTPS 协议? HTTPS(全称:Hyper Text Transfer Protocol over Secure Socket Layer)&am…

React+flask 搭建网站---React 环境搭建

系统环境: mac 搭建过程: 1、安装node.js : 安装任何包时一定要取官网查看安装方法(因网络中每个人安装的环境和版本有差异,尽量安装官网指导进行安装).官网地址:https://nodejs.org/zh-cn/ 现在后,进行安装.安装完成后,进行后续操作. 2、安装React 创建应用的工具(脚…