大型网站架构演化发展历程

news/2024/5/10 22:19:26/文章来源:https://blog.csdn.net/MFL_CEO/article/details/81866634

1.大型网站软件系统的特点

与传统企业应用系统相比,大型互联网应用系统有以下特点。

(1)高并发,大流量;(2)高可用;(3)海量数据;(4)用户分布广泛,网络情况复杂;

(5)安全环境恶劣;(6)需求快速变更,发布频繁;(7)渐进式发展。

2.大型网站架构掩护发展过程

(1)初始阶段的网站架构
应用程序、数据库、文件等所有的资源都在一台服务器上 (LAMP)。
(2)应用服务和数据服务分离
遇到的问题:越来越多的用户访问导致性能越来越差,越来越多的数据导致存储空间不足。
解决方案:应用和数据分离后整个网站使用三台服务器:应用服务器、文件服务器和数据库服务器。
应用服务器需要处理大量的业务逻辑,因此需要更快更强大的CPU;
数据库服务器需要快速磁盘检索和数据存储,因此需要更快的硬盘和更大的内存;
文件服务器需要存储大量用户上传的文件,因此需要跟大的硬盘。
(3)使用缓存改善网络性能
网站访问特点:80%的业务访问集中在20%的数据上(二八定律)。
欲解决的问题:减少数据库的访问压力,提高整个网站的访问速度,改善数据库的写入性能。
解决方案:使用缓存。缓存在应用服务器上的本地缓存、缓存在专门的分布式缓存服务器上的远程缓存。
本地缓存的访问速度更快一些,但是受到应用服务器内存限制,其缓存数据量有限,而且会出现和应用程序争用内存。
远程腹部是缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,理论上可以做到不受内存容量限制。
(4)使用应用服务器几圈改善网站的并发处理能力
遇到的问题:单一应用服务器能够处理的请求连接有限,在网站访问高峰期,应用服务器成为整个网站的瓶颈。
解决方案:使用集群是网站解决高并发、海量数据问题的常用手段。 应用服务器实现集群是网站可伸缩集群架构设计中较为简单成熟的一种。通过负载均衡调度服务器,可将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果有更多的用户,就在集群中加入更多的应用服务器,使应用服务器的负载压力不再成为整个网站的瓶颈。
(5)数据库读写分离
遇到的问题:部分读操作(缓存访问不命中,缓存过期)和全部的写操作需要访问数据库,在网站用户达到一定规模后,数据库因为负载压力过高而成为网站的瓶颈。
解决方案:主流数据库使用主从热备功能,通过配置两天数据库主从管理,可以将一台数据库服务器的数据更新同步到另一台服务器上。网站利用数据库的这一功能,实现数据库读写分离,从而改善数据库负载压力。
(6)使用反向代理和CDN加速网站响应
遇到的问题:提高用于体验,留住用户,网站需要加速网站访问速度。
解决方案:使用CDN和反向代理。
CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的网络提供商机房获取数据;方向代理部署在网站的中心机房,当用户请求达到中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就将其直接返回给用户。
(7)使用分布式文件系统和分布式数据库系统
遇到的问题:单一服务器无法满足大型网站持续增长的业务需求。
解决方案:使用分布式文件系统与分布式数据库系统
(8)使用NoSQL和搜索引擎
欲解决的问题:随网站业务越来越复杂,解决数据存储和检索的复杂需求。
解决方案:使用非关系型数据库如 Redis和非数据库查询技术如 搜索引擎。
应用服务器通过一个统一数据访问模块访问各种数据,减轻应用程序管理者诸多数据源的麻烦。
(9)业务拆分
欲解决的问题:应对日益复杂的业务场景。
解决方案:将网站业务拆分成不同的产品线,如大型购物交易网站会将首页、商铺、订单、买家、卖家等才分成不同的产品线,分归不同的业务团队负责。
(10)分布式服务
欲解决的问题:随着业务拆分越来越小,存储系统越来越大,应用系统的整体复杂度呈指数级增加,部署维护越发困难。
解决方案:将公用的业务提取出来,独立部署。由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用业务服务完成具体业务操作。

3.避免网站结构设计误区

(1)大公司的经验和成功模式固然重要,值得学习借鉴,但不能盲从;

(2)网站技术是为业务存在的,不要脱离业务发展的实际,一味追求时髦的新技术;

(3)技术是用来解决业务问题的,而业务的问题,也可以通过业务的手段去解决。

附:分布式服务架构图

                                   

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_893063.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大型网站架构技术一览

网站系统架构层次如下图所示: 1.前端架构 浏览器优化技术、CDN、动静分离、静态资源独立部署、图片服务、反向代理、DNS。 2.应用层架构 开发框架、页面渲染、负载均衡、Session管理、动态页面静态化、业务拆分、虚拟化服务。 3.服务层架构 分布式消息、分布式服务、…

2-13 搭建LAMP环境并部署Ucenter和Ucenter-home网站

环境: VMware Virtual Machine : XGan63.cn IP: 192.168.31.63 (Bridge) 已配置本地yum源 ---> /mnt 已配置网络yum源 ---> http://mirrors.aliyun.com 安装前确保环境干净,避免软件冲突造成影响 检查环境: which httpd #查看是否安装httpd服务 chkconfig --list httpd…

大型网站架构心得之一:分

我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向有良好的可伸缩性,就需要在做架构设计的时候考虑到一个分的原则,我想在多个方面说一下怎么分: 首先是横向的分: 1…

PC文件在线互传网站推荐

大文件: U盘或者移动硬盘才是首选,没有条件才用此下策 轻松传 - 传文件,传文本,传屏幕,传实时视频https://easychuan.cn/ 无需上传,直接下载,这是它的优点。使用edge亲身体验有个bug&…

IE浏览器提示网站还原错误

win 10 系统IE(Internet Explorer)浏览器提示网站还原错误,报错图如下 : 网上找了很多的方法,重置浏览器设置,降低自定义安全级别,添加受信任站点、禁用加载项、清除历史缓存记录等皆无用。 一、解决方法 1.此电脑--…

Java web 小白学习日记(4)—— 本地端的第一个网站

本篇内容续 小白日记(3) 本地端的第一个网站 目录 1)web工程的创建,如下图 2)若要调入图片,在本地找到该工程的工作空间,在WebRoot目录下创建images目录(默认名为images&#xff…

Java web 学习日记(5)——云服务器端的第一个网站

本篇内容续 小白日记(4) 也可直接食用 云服务器端的第一个网站 目录 1)选中我们要使用的web工程,点击file菜单中的export 2)选择Java EE 中的 WAR包格式,点击next 3)步骤如图 4&#xff0…

linux云服务器部署springboot网站 jar包部署过程

首先对我们的项目进行打包,可以直接输入命令 mvn clean package 如果遇到过程test报错 可以选择右侧maven任务栏里的闪电图案,跳过test 使用filezilla连接我们的服务器,将jar包上传到指定文件夹 使用putty登录云服务器 一些命令介绍 cd /us…

java web项目部署云服务器实现外网访问网站

本文为学习经验分享,水平有限,若有问题还请多多包涵,多多交流。 目录 一、租用云服务器 二、配置云服务器 三、Mysql安装与配置 四、JDK的安装(重要) 五、Tomcat 的安装与部属(重点) 六、…

VS 发布网站的配置

此配置发布为已经编译的网站,并且不可查看源代码。 

一个图标下载网站(自用)

地址:http://www.iconfont.cn/collections/detail?cid29

国外免费Icon图标下载网站大全(共55个网站)

Icon 图标通常应用于对系统的美化和应用程序的UI设计中。但是随着Web2.0的大潮兴起,大而醒目的设计元素也日趋流行。你完全可以把图标应用到网站设计 中,比如菜单栏图标、分类图标等。现在,帕兰映像为你收集整理了下面50多个国外的免费Icon图…

14个超棒的带有故事趣味性视差滚动网站

随着css3属性的广泛支持,越来越被设计师所青昧 ,常常可以创造出惊人的网站作品出来,特别是视差滚动的出色表现。关于视差滚动在实现方面,在之前的文章中《利用JARALLAX实现超强视差滚动网页效果》也为大家介绍了一个小插件的实现方…

Asp.net 2.0 中将网站首页生成静态页的一个比较好的方法

做网站时,有时为了提高性能会将网站首页生成静态页(当然, Asp.net中页面缓存也是一个不错的选择了将页面生成静态的方法有多中,据不完全统计有N种(N>1)呵呵以下的方法来自 "孟子E " 解释的方法 代码如下 protected override void Render(HtmlTextWriter writer) …

抓取一个网站特定的全部图片(JAVA)

1. 目的 用五笔时,如果碰到不会拆的字,只好换回拼音。但这样做治标不治本,于是到网上找五笔反查工具。最后发现一个不错的网站——不仅有每个字对应的五笔码,还有其字根图。可惜的是,这是一个网站。换句说,…

轻松完成网站提速:来自Google、淘宝等的Nginx PageSpeed模块

mod_pagespeed于2010年发布,让网站管理员可以为其Web应用提速,而不需要深度的性能优化造诣。mod_pagespeed最初版本只作为Apache的模块,并不兼容Nginx这个最流行并为许多大型站点所使用的高性能开源网络服务器。如今Nginx的PageSpeed Beta版终…

大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上近来感觉有不少同学都很难明白为什么…

高性能网站架构设计之缓存篇(5)- Redis 集群(上)

转自:http://www.cnblogs.com/zhaoguihua/p/redis-005.html 集群技术是构建高性能网站架构的重要手段,试想在网站承受高并发访问压力的同时,还需要从海量数据中查询出满足条件的数据,并快速响应,我们必然想到的是将数…

设计相关的网站

来自:http://blog.csdn.net/leejizhou/article/details/51623082 李济洲的博客 ) 这篇文章给大家介绍几个设计相关的网站,因为博主除了软件开发以外还比较喜欢设计,据我观察了解程序员普遍审美都是比较差的,所以这次给大家推荐几…

linux企业实战 大型网站架构概述

大型网站架构概述 网站架构演化发展历程 初始阶段的网站(特点:没人)应用程序、数据库、文件都在一个服务器 应用服务和数据服务分离 随着网站业务的发展,-台服务器逐渐不能满足需求:性能越来越差,存储空间不足。这是就需要应用和数据分离 应用服务…