架构师---(大型网站技术架构核心原理与案例分析)1大型网站架构演化

news/2024/5/16 18:56:42/文章来源:https://xiaochengxinyizhan.blog.csdn.net/article/details/77162031

#参考资料大型网站技术架构核心原理与案例分析(作者李智慧)
#1初始阶段的网站架构
小型网站起初访问量不是很高,只需要一台服务器就可以了。通常我们的部署将应用程序、数据库、文件等所有的资源都在一台服务器上。通常服务器操作系统为linux,应用程序使用php(其他语言也可以java等),然后部署在Apache上,数据库使用MySQL。再使用开源软件等等。
这里写图片描述

这里写图片描述
#2应用服务和数据服务分离
随着网站业务发展。性能随之下降,需要提升的方面。需要将应用和数据分离,至少需要三台服务器:应用服务器、文件服务器、数据库服务器。
这三台服务器对硬件资源的要求各不相同,应用服务器需要处理大量的业务逻辑,所以需要更强更大的CPU。数据库服务器需要快速磁盘检索和数据缓存,因此需要更快的硬盘和更大的内存。文件服务器需要存储大量用户上传的文件,因此需要更大的磁盘。
这里写图片描述
这里写图片描述
#3使用缓存改善网站性能
虽然经过上述2的方案的应用服务和数据服务分离,使得并发处理能力和数据存储空间得到很大的改善。但是随之而来的另一个问题就是用户数量越来越多,数据库压力太大导致访问延迟,进而影响到整个网站的性能,用户体验受到了影响。
那么针对以上问题,需要使用缓存改善网站性能。网站访问特点和现实世界财富分配一样二八定律,80%的业务访问集中在20%的数据上。如何理解-淘宝80%用户会去购买评价良好的20%产品。
是不是将那个访问量大的20%数据存储到缓存内存中就可以减少数据库的访问压力?


网站使用的缓存分为两种:一种是应用服务器上的本地缓存,一种是缓存在专门的分布式缓存服务器上的远程缓存。
本地缓存的读取速度更快一些,缺点是会和应用程序争用内存的使用空间,远程分布式缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,可以在理论上做到不受内存容量限制的缓存服务。


使用以上缓存可以解决高并发访问性能,但是应用程序的处理请求连接有限,在网站访问的高峰期,就会成为瓶颈。
这里写图片描述
这里写图片描述
#4使用应用服务器集群改善网站的并发处理能力
上个方案3改善了数据库访问压力及性能,但是出现了应用服务请求连接有限的瓶颈,那么我们采用应用服务器集群改善网站的并发处理能力。
使用集群是处理网站高并发和海量数据问题的常用手段。当一台服务器的处理能力不足的时候,不要企图换更强大的服务器,随着业务持续增长,再强大的服务器都会有满足不了的时候。
那么最有效和实现系统的可伸缩性的办法是增加一台服务器的方式改善负载压力。
应用服务器集群是网站可伸缩性集群架构设计中较为简单成熟的一种,可以通过负载均衡调度服务器,可以将来自用户浏览器的访问请求分发到应用服务器集群的任何一台服务器上,如果之后用户继续增加,继续增添服务器就可以。
这里写图片描述
这里写图片描述
#5数据库读写分离
网站在使用缓存后,使绝大部分数据操作访问都可以不通过数据库就能完成,但是仍然有一部分读操作(缓存访问不命中,缓存过期)和全部的写操作需要访问数据库,在网站的用户达到一定规模后,数据库因为负载压力过高而成为网站的瓶颈。
目前大部分主流数据库都提供主从热备功能,通过配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另一台的服务器上。网站利用数据库的这个功能实现数据库库的读写分离,从而改善数据库的负载压力。
应用服务器在写数据的时候,访问主数据库,主数据库通过主从复制原则将数据更新同步到从数据库,这样当应用服务器读数据的时候,就可以通过从数据库获得数据。为了便于应用程序访问读写分离后的数据库,通常在应用服务器端使用专门的数据访问模块,使数据库读写分离对应用透明。
这里写图片描述
这里写图片描述
#6使用反向代理和CDN加速网站响应
随着业务不断发展,用户规模急速增长,那么用户访问网站的压力增大,而中国的网络环境和地区的访问速度差别比较大。对网站的性能和速度要求越来越高,网站访问延迟和用户流失成正相关,为了解决访问速度加快。主要手段有使用CDN和反向代理。
CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,用户在请求网站服务时候可以从距离自己最近的网络提供商机房获取数据。而反响搭理泽部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存中用户请求的资源,就将其直接返回给用户。
使用CDN和反向代理的目的都是尽早返回数据给用户,一方面加快用户访问速度,另一方面减轻后端服务器的负载压力。
这里写图片描述
这里写图片描述
#7使用分布式文件系统和分布式数据库系统
任何强大的单一服务器都满足不了大型网站持续增长的业务需求。数据库需要读写分离,依然需要分布式数据库,文件也一样需要分布式文件系统。
分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常庞大的时候才使用,不到不得已时候,网站更常用的是数据库拆分手段是业务分库,将不同的业务数据数据库部署在不同的物理服务器上。
这里写图片描述
这里写图片描述
#8使用NoSQL和搜索引擎
随着业务的复杂程度增加,对数据存储和检索的需求也要求越来越高。网站需要一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。
NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理者诸多数据源的麻烦。
这里写图片描述
这里写图片描述
#9业务拆分
大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将整个网站业务分成不同的产品线。如大型购物交易网站就会将首页、商铺、订单、买家、卖家等拆分成不同的产品线。分归不同的业务团队负责。
具体到技术也会根据产品线划分,将一个网站拆分成不同的应用,每个应用独立维护。应用之间通过一个超链接建立关系(首页导航连接每个都指向不同的应用地址),也可以通过消息队列进行数据分发,当然最多的还是通过访问同一个数据存储的系统来构成一个关联的完整系统
这里写图片描述
这里写图片描述
#10分布式服务
随着业务拆分越来越小,存储系统越来越庞大,应用系统的整体复杂度呈指数级增长,部署维护越来越困难。由于所有应用要和所有数据库系统连接,在数万台服务器规模的网站中,这些连接的数目是服务器规模的平方,导致数据库连接资源不足,拒绝服务。
既然每一个应用系统都需要执行许多相同的业务操作,比如用户管理商品管理等,那么可以将这些共用的业务提取出来,独立部署,有这些可复用的业务连接数据库,供共用业务服务。而应用系统只需要管理用户界面通过分布式服务调用共用业务服务完成具体的操作
未来云计算平台的部署,使得架构不再难
这里写图片描述
这里写图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_777322.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从码农到架构师---设计大型网站架构模式和核心要素

参考资料大型网站技术架构核心原理与案例分析(作者李智慧) 参考资料架构修炼之道(作者王新栋) 网关 1-API网关的基本功能与七种措施 2-如何设计一个API: 常用工具(设计API和生成API文档) RAML和Swagger RAML的五个过程 Design->Build->Test->…

java spring boot + Selenium 爬取网站简单使用

chromedriver 下载 首先下载chromedriver 这个驱动 注意: 看一下Chrome 浏览器版本 选择合适对应的chromedriver 版本 pom引入 <!-- selenium-java --><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</ar…

网站 nginx http 升级 https

首先下载 nginx wget -c https://nginx.org/download/nginx-1.10.1.tar.gz然后解压 tar -zxvf nginx-1.10.1.tar.gz注意这里 如果你以前有nginx 在启动目录里使用 ./nginx -V 看看是否有 with-http_ssl_module 这个模块 如果没有请按照http升级https(转)这篇文章升级(本人也是参…

高并发高流量网站架构

Web2.0的兴起&#xff0c;掀起了互联网新一轮的网络创业大潮。以用户为导向的新网站建设概念&#xff0c;细分了网站功能和用户群&#xff0c;不仅成功的造就了一大批新生的网站&#xff0c;也极大的方便了上网的人们。但Web2.0以用户为导向的理念&#xff0c;使得新生的网站有…

db2怎么限定查询条数_SEO优化怎么样呢?如何做seo?

SEO优化怎么样呢&#xff1f;如何做seo&#xff1f;网站上线后不是给自己看的&#xff0c;更多的情况下是给用户看的。seo优化的作用在于提升网站关键词自然排名&#xff0c;便于用户搜索&#xff0c;便于提高用户通过相关关键词看到网站的概率。通常所说的搜索引擎优化&#x…

WEB网站压力测试方案 压力测试如何换算并发用户数

http://wenku.baidu.com/view/bedf1a93daef5ef7ba0d3c29.html 压力测试通过确定一个系统的瓶颈或者不能接收的性能点&#xff0c;来获得系统能提供的最大的服务级别的测试。通俗地讲&#xff0c;压力测试是为了发现在什么条件下您的应用程序的性能会变得不可接受。 极限压力测…

正在尝试其它镜像_网站被镜像了该如何解决?

相信很多站长遇到最头疼的事就是网站被镜像了吧&#xff0c;自己辛苦做出来的网站一下就被别人镜像了&#xff0c;心里一定不好受。网站镜像是什么意思呢&#xff1f;就是当你搜索你的网站&#xff0c;你会发现突然多出了很多和你的网站一模一样的网站&#xff0c;它们除了域名…

php 网站的拼接方法,第五天 ThinkPHP手把手快速拼接网站(五)

6月11日&#xff0c;晴天。“梅子留酸软齿牙&#xff0c;芭蕉分绿与窗纱。日长睡起无情思&#xff0c;闲看儿童捉柳花。”十、后台编写-续-21、改写Login模块的login方法 &#xff0c;主要是改M方法为D方法class LoginAction extends Action {function index() {// 配置页面显…

项目符号css样式,制作现代网站和应用程序时CSS项目符号样式

在本文中&#xff0c;我们将讨论无序列表&#xff0c;在制作现代网站和应用程序时&#xff0c;无序列表的发展是不可避免的。你是否做了很多很多名单的粉丝&#xff1f;我也不是。但是&#xff0c;这里我们不是在谈论家务或购物清单。我们正在讨论制作现代网站和应用程序时不可…

使用Apache的Proxy模块实现对被代理网站的访问

为已编译的apache2添加mod_proxy模块 和应用 http://help.lampok.net/log/?p1525这篇文章试过可以&#xff0c;在apache2.2.23版本的时候。blog.51yip.com/apachenginx/873.htmlhttp://shiningray.cn/proxypass-directive-in-apache.html查看apache支持的模块&#xff1a; htt…

asp.net网站开发中用jquery实现滚动浏览器滚动条加载数据(类似于腾讯微博)

自从腾讯微博上线以来&#xff0c;基本上就开始用了&#xff0c;一直到现在&#xff0c;作为一个开发人员&#xff0c;也看到了腾讯微博一直在不停的改变&#xff0c;也不知道大家有没有发现&#xff0c;腾讯微博提供两种加载数据的方式&#xff0c;一种是分页&#xff0c;一种…

Java小应用目录快速变网站

1. 简介 快速将一个目录变成静态站点的Java小应用 2. 程序下载 https://github.com/broncho/oss/raw/master/blog/directory-website-1.0.0.jar 3. 依赖环境 JRE 1.6 4. 使用说明 5. 运行

电商实例、业务并发、网站并发及解决办法

电商实例、业务并发、网站并发及解决方法 一、怎么防止多用户同一时间抢购同一商品&#xff0c;防止高并发同时下单同一商品 最近在做抢购系统&#xff0c;但头疼的是&#xff0c;在多用户高并发的情况下经常会库存出现问题。排查到&#xff0c;在同一时间内多用户同时下单导致…

nginx网站性能优化篇(4)】理解nginx的高并发原理及其配置调优

Nginx 是如何实现高并发的? Nginx 采用的是多进程&#xff08;单线程&#xff09; & 多路IO复用模型。使用了 I/O 多路复用技术的 Nginx&#xff0c;就成了”并发事件驱动“的服务器。其实现了异步&#xff0c;非阻塞&#xff0c;使用了epoll 和大量的底层代码优化。 如…

Pa11y测试网站可访问性工具

前言 非常感谢wapyce和carlsonsantana测试我的博客网站&#xff0c;并给我发出Issue&#xff0c;让我知道了网站有些bug&#xff0c;以及Pa11y这个测试利器。 简介 Pa11y是自动化测试网站可访问性的工具。 它原理是用命令行的形式运行 HTML CodeSniffer&#xff0c;得到可访问性…

网易开源镜像网站

https://mirrors.163.com/ 1、我们看下centos/7.7.1908/ 的系统镜像支持哪些&#xff0c;opestack版本 url&#xff1a; https://mirrors.163.com/centos/7.7.1908/&#xff0c;支持queens&#xff0c;rocky&#xff0c;stein&#xff0c;train 2、iso系统名称 CentOS-7-x86…

44.scrapy爬取链家网站二手房信息-2

44.scrapy爬取链家网站二手房信息-2 全面采集二手房数据&#xff1a;网站二手房总数据量为27650条&#xff0c;但有的参数字段会出现一些问题&#xff0c;因为只给返回100页数据&#xff0c;具体查看就需要去细分请求url参数去请求网站数据。我这里大概的获取了一下筛选条件参数…

IPv6系列(二)--现有网站快速接入

一、 购买并配置“IPv6转换服务” 1.1 进入以下链接进行购买 链接&#xff1a;https://www.aliyun.com/product/ipv6trans 1.2 选择合适的参数 1.3 配置IPv6转换服务 添加映射条目&#xff08;复制下图中的IPv6地址&#xff0c;备用&#xff09; 等待配置生效&#xff08;…

珍藏已久的6个资源网站,每天让你不愁找不到资源,你值得拥有

想必如果你是一名在网上混迹多年的老网民&#xff0c;手上一定有几套属于自己的网站&#xff0c;有时候想要什么直接在里面搜索十分方便&#xff01;也不需要满网进行瞎找&#xff0c;但是这类网站起来很快倒下来也很多&#xff0c;所以在很多时候我们要不断的更新自己手头上的…

***不是已知元素 原因可能是网站中存在编译错误

在用visual studio 2005编辑asp.net页面时&#xff0c;有时会遇到&#xff1a;"***"不是已知元素。错误情况如下图&#xff1a;原因可能是网站中存在编译错误。 这有可能是代码中的"***"确实有错&#xff0c;但是有时候你会发现代码根本就没有错&#xff0…