大型网站架构演化

news/2024/5/20 9:08:17/文章来源:https://blog.csdn.net/weixin_30883271/article/details/98085155

互联网网站的发展只经历了短短20多年,20多年时间发生了巨大的变化。今天全球有近一半的人口使用互联网。但是一些问题也产生了,电子商务火热的市场背后却是不堪重负的网站架构。12306等。如何打造一个高可用、高性能、易扩展、可伸缩的安全性网站?如何让网站随应用所需灵活变动?

1.1 大型网站软件系统的特点

高并发,大流量:google日均PV数35亿,日均IP访问数3亿。

高可用:系统7*24小时不间断服务,大型网站宕机通常会成为焦点新闻。

海量数据:需要存储、管理海量数据,需要使用大量服务器。FaceBook每周上传照片数目接近10亿,百度收录的网页数目有数百亿。google有近百万台服务器为全球用户提供服务。

用户分布广泛,网络情况复杂:中美光缆数次故障,让一些国外用户依赖较大的网站不得不考虑在海外建立数据库。

安全环境恶劣:互联网的开放性,导致互联网站更容易受到攻击。

需求快速变更,发布频繁:一般大型网站每周都有新版本发布上线,中小型网站发布更加频繁。而办公软件以年为单位发布。

渐进式发展:传统软件产品或企业应用系统一开始就规划好全部的功能和非功能需求。而很多大型网站都是从小网站开始的。好的互联网产品都是慢慢运营出来的

1.2 大型网站架构演化发展历程

1. 初始阶段的网站架构

  小型网站最初没有太多人访问,只需要一台服务器就绰绰有余。应用程序、数据库、文件等资源都在一台服务器上。LAMP

 

2. 应用服务和数据服务分离

  随着网站业务发展,一台服务器逐渐不能满足需求。越来越多的用户访问导致性能越来越差,存储空间不足。就需要应用和数据分离。三台服务器:应用服务器,文件服务器,数据库服务器。

  应用服务器要处理大量的业务逻辑,需要更快更强大的cpu。

  数据库服务器需要快速磁盘检索和数据缓存,需要更快的硬盘和更大的内存。

  文件服务器需要存储大量用户上传的文件,需要更大的硬盘。

 

3. 使用缓存改善网站性能

  虽然应用和数据分离了,但是随着用户增多,数据库压力太大,会导致访问延迟。

  网站访问特点也遵循28定律:80%的业务访问集中在20%的数据上。淘宝浏览的商品集中在少部分成交数量多、评价良好的商品上。百度搜索关键词集中在少部分热门词汇上。只有经常登录的用户才会发微博,而这部分也是小部分。所以我们可以把这一小部分数据缓存在内存中。

  网站使用的缓存分为两种:缓存在应用服务器上的本地缓存和缓存在专门的分布式服务器上的远程缓存。本地缓存访问速度快,但是缓存数据量受限制,且会出现和应用程序争用内存的情况。分布式缓存可以做集群。部署大内存的服务器作为专门的缓存服务器,做到理论上不受内存限制的缓存服务。

  使用缓存后,数据访问压力得到缓解,但是单一应用服务器能够处理的请求连接有限。

 

4. 使用应用服务器集群改善网站的并发处理能力

  使用集群是网站解决高并发,海量数据问题的常用手段。通过负载均衡调度服务器,可以将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上。如果有更多的用户,就在集群中加入更多的应用服务器。

 

5. 数据库读写分离

  网站在使用缓存后,使绝大部分数据读操作访问都可以不通过数据库就能完成,但是仍有一部分读操作(缓存访问不命中,缓存过期)和全部的写操作需要访问数据库。用户量大,数据库因为负载过高而成为网站的瓶颈。

  目前大部分主流数据库都提供主从热备功能,通过配置两台数据库主从关系,将一台数据库服务器上的数据更新同步到另一台服务器上。网站利用数据库的这一功能,实现数据库的读写分离。从而能改善数据库负载压力。为了便于应用程序访问读写分离后的数据库,通常在应用服务器端使用专门的数据访问模块,使数据库读写分离对应用透明。

 

6. 使用反向代理和CDN加速网站响应

  由于中国复杂的网络环境,不同地区用户访问网站速度差别也极大。研究表明网络访问延迟和用户流失率正相关。为了留住用户,需要加速网站访问速度。主要手段有CDN和反向代理。

  CDN和反向代理的基本原理都是缓存,区别在与CDN部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的网络提供商机房获取数据。而反向代理部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就直接将其返回给用户。

  使用这两个的目的都是为了加快用户访问速度。另一方面也减轻后端服务器的负载压力。

 

7. 使用分布式文件系统和分布式数据库系统

  分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常强大的时候才使用。不到万不得已时,常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同的物理服务器上。

 

8. 使用NoSQL和搜索引擎

  随着网站业务越来越复杂,对数据库存储和检索的需求也越来越复杂,网站需要采用一些非关系型的数据库技术如NoSQL和非数据库查询技术如搜索引擎。NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩性的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

 

9. 业务拆分

  分而治之手段,将整个网站业务分成不同的产品线。具体到技术上,也会根据产品线划分,将一个网站拆分成许多不同的应用,每个应用独立部署维护。应用程序之间可以通过一个超链接建立关系,也可以通过消息队列进行数据分发。当然最多的还是通过访问同一个数据库存储系统来构成一个关联的完整系统。

 

 

10. 分布式服务

  随着业务拆分越来越小,存储系统越来越庞大,应用系统的整体复杂程度呈指数级增加,部署维护越来越困难。由于所有应用要和所有数据库系统连接,在数万台服务器规模的网站中,这些连接的数目是服务器规模的平方,导致数据库连接资源不足,拒绝服务。

  既然每个应用系统都需要执行许多相同的业务操作,那么就可以把这些共用的业务提取出来,独立部署。由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用服务完成具体的业务操作。品优购项目中的 web--页面、service,interface--共用服务。

 

 

  

 

大型网站的架构演化到这里,基本上大多数的技术问题都得到解决。诸如跨数据中心的实时数据同步和具体网站业务相关的问题也都可以通过组合改进现有技术架构来解决。

既然大型网站架构解决了海量数据的管理和高并发事务的处理,那么久可以把这些解决方案应用到网站自身外的业务上去。所以很多大型网站都建设了云计算平台,将计算作为一种基础资源出售。中小型网站不再需要关心技术架构问题,只需要按需付费,就可以使网站随着业务的增长逐渐获得更大的存储空间和更多的计算资源。阿里云!

 

切记

网站的价值在于它能为用户提供什么,在于做什么。而不在于怎么做。所以在网站还很小的时候去追求网站的架构是本末倒置。所以我们一方面看到越来越多的软件技术和产品从互联网公司诞生,挑战传统软件巨头的江湖地位。一方面中小网站十几年如一日的使用LAMP开发自己的网站。

业务成就了技术,技术成就了人。网站技术是为了业务而存在的,除此毫无意义。

技术是用来解决业务问题的,业务的问题有时候也可以通过业务的手段去解决。比如12306, 最初是以窗口模式零点售票,导致故障。所以他不仅重构了技术架构,更重要的是业务架构。后来在售票方式上引入了排队机制、整点售票改为分时段售票,有效的控制了并发量。

  

 

转载于:https://www.cnblogs.com/pdy94/p/8799168.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_829751.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

果创云-在线中文接口编程的网站,低代码快速开发你的接口

中文接口编程 果创云(YesApi.cn),是一个API接口低代码开发平台。现在已经支持中文接口编程。也就是,你可以使用中文来自助开发自己的API接口。 不需要编程基础,就可以在线创建和开发自己的API接口,并且实…

ECS centos6.8系统下从nginx安装到简单网站上线配置操作的完整记录

1.准备工作 1.1已购买阿里云云服务器ECS 1.2域名已购买并解析成功 1.3安装有远程链接工具Xshell和文件传输工具Xftf,并链接上ECS实例 2.安装nginx(在Xshell操作) 2.1检查安装环境 Nginx是C写的,需要用GCC编译;Nginx的R…

JavaScript里mouseenter和mouseleave与mouseover和mouseout的区别

今天总结下mouseenter、mouseleave、mouseover、mouseout的区别&#xff0c;之前一直懵着用没仔细研究他们的区别&#xff0c;结果终于踢到铁板了。 上代码&#xff1a; <style> div { margin: 0 auto; }     .box { box-sizing: border-box; padding: 30px 0; width…

网站前端ajax翻页插件记录

网站前端ajax翻页插件记录 背景&#xff1a;写了个Django项目&#xff0c;但是在部署到服务器第一次打开网站前端首页的时候&#xff0c;加载速度超慢&#xff0c;主要集中在图片加载浪费时间&#xff0c;而此时我的前端很多部分还没有填充图片&#xff0c; 所以想写个ajax&…

这4个基本常识小窍门 做网站的你必须了解

互联网时代&#xff0c;长点基本网建知识和小窍门&#xff0c;是必须的。所谓知己知彼,方能百战不殆。今天&#xff0c;誉哥为大家GET点新技能。 第一步&#xff1a;域名注册。 域名又叫网址&#xff0c;有了域名不代表有网站&#xff0c;域名只是门牌号&#xff0c;无论用.COM…

PCB 使用第3方网站做为外链图片资源

计划将Web版SI9000阻抗计算工具放外网了,由于个人网站带宽太小原因, 准备将静态的图片资源放在第三方网站&#xff0c;今天找了好几个图床网站&#xff0c;把阻抗模型图上传到图床网站,这样一来就能解决带宽的问题了,今天折腾了老半天了,测试结果不是想要的效果,还是把阻抗模型…

电商网站模板_商城网站开发:开展在线业务要考虑什么

随着电子商务的快速发展&#xff0c;很多企业开始重视电商网站开发&#xff0c;想要做一个自己的电商网站&#xff0c;以便从互联网吸引客户&#xff0c;增加订单&#xff0c;扩大企业影响力。但是现在各种电商网站这么多&#xff0c;该如何制作网站&#xff0c;才能发挥它的作…

服务器性能差用cdn有用吗,CDN加速有用吗?对网站有什么好处?

随着网站的访问量增加的同时&#xff0c;网站访问速度也会越来越慢&#xff0c;带宽费也会花费很多&#xff0c;特别是现在的云主机&#xff0c;都是按照M计费的&#xff0c;而且5M以后就会很贵&#xff0c;对于一些人来说是无法承受的&#xff0c;因此&#xff0c;CDN加速服务…

网站地图生成器_6个让人震惊的网站,每一个都堪称神器!

今天给大家分享6个神仙网站&#xff0c;每一个都堪称神器&#xff0c;每一个都可以帮助你打开新世界的大门&#xff0c;让你震惊&#xff0c;所以一定要看到最后哦~1.PhotoMosh推荐理由&#xff1a;抖音风图片制作PHOTOMOSH​photomosh.com如果你想制作抖音风格的照片或者gif&a…

百度搜狗SEO快速排名模拟点击工具-提升关键词排名

模拟关键字排名点击工具是运用全国的模拟IP来点击搜索引擎关键字&#xff0c;和真实的点击无异&#xff0c;避免搜索引擎发现&#xff0c;现在很多快速排名的网站&#xff0c;都只有这样一款工具来接单&#xff0c;实现快速排名&#xff0c;它的原理是通过搜索这个关键字&#…

百度关键词快排虚拟发包程序-SEO快速排名系统

至2018上半年&#xff0c;随着搜索引擎&#xff08;BD&#xff09;算法的赓续优化和更新&#xff0c;数据发包刺激用户体验数据提拔的方法对词排名的结果逐步变小&#xff0c;我们想要获得更好的结果&#xff0c;照旧得从源头网站域名&#xff0c;布局&#xff0c;外链&#xf…

小旋风SEO蜘蛛池站群-手机企业版泛站群蜘蛛池

一、蜘蛛池是什么意思 简单来说&#xff0c;蜘蛛池就是一种通过利用大型平台权重来获得百度收录以及排名的一种程序。 所谓蜘蛛池&#xff0c;指的是做大量泛站让搜索引擎收录&#xff0c;作为自己的外链资源。 当有新的网站或新的页面时&#xff0c;把新URL放入到这些泛站资…

966SEO学习网:没有蜘蛛监控如何分析搜索引擎蜘蛛抓取量

以宝塔面板为例&#xff1a; 1、登录宝塔WEB面板&#xff0c;找到如下位置 2、点击下载.log结尾的日志文件&#xff0c;点右边的下载&#xff0c;下载到本地 3、利用软件对日志进行分析&#xff08;就可以看到具体蜘蛛抓取频次等&#xff09; 软件推荐光年日志分析 4、在线…

环状序列(Circular Sequence, ACM/ICPC Seoul 2004, UVa1584)

长度为n的环状串有n种表示法&#xff0c;分别为从某 个位置开始顺时针得到。例如&#xff0c;图3-4的环状串 有10种表示&#xff1a; CGAGTCAGCT&#xff0c;GAGTCAGCTC&#xff0c;AGTCAGCTCG等。 在这些表示法中&#xff0c;字典序最小的称 为"最小表示"。 输入一个…

企业网站制作之头部制作(一)

企业网站综合布局实战笔记 思路&#xff1a; 利用了两个盒子嵌套&#xff0c;一个ul嵌套3个li即可。 具体思路&#xff1a; 先创建外层次top盒子<div class"top">再创建内层top_content盒子 <div class"top_content">后面创建ul&#xff0c;…

企业外贸网站制作的要求及注意事项

随着经济全球化的发展&#xff0c;现在有很多的中国企业都已经开展了对外贸易业务&#xff0c;进行外贸的时候最为基础的就是要求是建立企业网站。如何为外贸企业建立一个良好的网站呢&#xff1f;今天小编就来和大家介绍下外贸网站制作的要求和一些注意事项。 企业外贸网站制作…

企业网站焦点图制作

企业网站焦点图制作 用的是myfocus这个插件。 注意点&#xff1a; 焦点图初始化的ID&#xff0c;与图片列表最外层的ID一致。图片列表外面&#xff0c;包裹一个class为pic的div。 具体思路 做轮播图的时候&#xff0c;记住&#xff0c;外面一个大盒子 <div class"…

企业网站制作之新闻中心制作

企业网站制作之新闻中心制作 新闻中心制作 效果图&#xff1a; 思路&#xff1a; 很简单&#xff0c;不说了。 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> &…

企业网站侧边栏制作

企业网站侧边栏制作 思路&#xff1a; 分为两大块&#xff0c;一块是上面的视频&#xff0c;和下面的图片。 具体思路&#xff1a; 先创建 <div class"sidebar">装侧边栏侧边栏上面<div class"video"> 下面 <div class"sidebar_ad&q…

大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章&#xff0c;例如LiveJournal的、ebay的&#xff0c;都是非常值得参考的&#xff0c;不过感觉他们讲的更多的是每次演变的结果&#xff0c;而没有很详细的讲为什么需要做这样的演变&#xff0c;再加上近来感觉有不少同学都很难明白为什么…