MySQL在大型网站的应用架构演变

news/2024/5/20 13:20:28/文章来源:https://blog.csdn.net/h254532693/article/details/48050645

可扩展性
架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍一下,
常用的扩展手段有以下两种:

  • Scale-up :  纵向扩展,通过替换为更好的机器和资源来实现伸缩,提升服务能力
  • Scale-out : 横向扩展,  通过加节点(机器)来实现伸缩,提升服务能力

对于互联网的高并发应用来说,无疑Scale out才是出路,通过纵向的买更高端的机器一直是我们所避讳的问题,也不是长久之计,
在scale out的理论下,可扩展性的理想状态是什么?

可扩展性的理想状态
一个服务,当面临更高的并发的时候,能够通过简单增加机器来提升服务支撑的并发度,
且增加机器过程中对线上服务无影响(no down time),这就是可扩展性的理想状态!

架构的演变|伦理片 http://www.gxuy.com

V1.0  简单网站架构
一个简单的小型网站或者应用背后的架构可以非常简单,  数据存储只需要一个mysql instance就能满足数据读取和写入需求(这里忽略掉了数据备份的实例),处于这个时间段的网站,一般会把所有的信息存到一个database instance里面。

b1

 

在这样的架构下,我们来看看数据存储的瓶颈是什么?

  • 数据量的总大小  一个机器放不下时
  • 数据的索引(B+ Tree)一个机器的内存放不下时
  • 访问量(读写混合) 一个实例不能承受时

只有当以上3件事情任何一件或多件满足时,我们才需要考虑往下一级演变。 从此我们可以看出,事实上对于很多小公司小应用,这种架构已经足够满足他们的需求了,初期数据量的准确评估是杜绝过度设计很重要的一环,毕竟没有人愿意为不可能发生的事情而浪费自己的精力。

例如:对于用户信息这类表 (3个索引),16G内存大概能放下2000W行数据的索引,简单的读和写混合访问量3000/s左右没有问题,你的应用场景是否?

V2.0 垂直拆分

一般当V1.0 遇到瓶颈时,首先最简便的拆分方法就是垂直拆分。
何谓垂直?就是从业务角度来看,将关联性不强的数据拆分到不同的instance上,从而达到消除瓶颈的目标。
以图中的为例,将用户信息数据,和业务数据拆分到不同的三个实例上。对于重复读类型比较多的场景,我们还可以加一层cache,来减少对DB的压力。

b2

 

在这样的架构下,我们来看看数据存储的瓶颈是什么?

  • 单实例单业务 依然存在V1.0所述瓶颈

遇到瓶颈时可以考虑往本文更高V版本升级, 若是读请求导致达到性能瓶颈可以考虑往V3.0升级, 其他瓶颈考虑往V4.0升级

V3.0  主从架构

此类架构主要解决V2.0架构下的读问题,通过给Instance挂数据实时备份的思路来迁移读取的压力,在Mysql的场景下就是通过主从结构,主库抗写压力,通过从库来分担读压力,对于写少读多的应用,V3.0主从架构完全能够胜任

vvv

在这样的架构下,我们来看看数据存储的瓶颈是什么?

  • 写入量主库不能承受

V4.0  水平拆分

对于V2.0 V3.0方案遇到瓶颈时,都可以通过水平拆分来解决,水平拆分和垂直拆分有较大区别,垂直拆分拆完的结果,在一个实例上是拥有全量数据的,而水平拆分之后,任何实例都只有全量的1/n的数据。
以下图Userinfo的拆分为例,将userinfo拆分为3个cluster,每个cluster持有总量的1/3数据,3个cluster数据的总和等于一份完整数据
(注:这里不再叫单个实例 而是叫一个cluster 代表包含主从的一个小mysql集群)

b3

 

数据如何路由?

1)Range拆分
sharding key按连续区间段路由,一般用在有严格自增ID需求的场景上,
如Userid, Userid Range的小例子:以userid 3000W 为Range进行拆分   1号cluster  userid 1-3000W  / 2号cluster  userid   3001W-6000W

2)List拆分
List拆分与Range拆分思路一样,都是通过给不同的sharding key来路由到不同的cluster,
但是具体方法有些不同,List主要用来做sharding key不是连续区间的序列落到一个cluster的情况,如以下场景:

假定有20个音像店,分布在4个有经销权的地区,如下表所示:

地区商店ID
北区3, 5, 6, 9, 17
东区1, 2, 10, 11, 19, 20
西区4, 12, 13, 14, 18
中心区7, 8, 15, 16

业务希望能够把一个地区的所有数据组织到一起来搜索,这种场景List拆分可以轻松搞定

3)Hash拆分
通过对sharding key 进行哈希的方式来进行拆分,常用的哈希方法有除余,字符串哈希等等。
除余如按userid%n 的值来决定数据读写哪个cluster,其他哈希类算法这里就不细展开讲了。

数据拆分后引入的问题?

数据水平拆分引入的问题主要是只能通过sharding key来读写操作,
例如以userid为sharding key的切分例子,读userid的详细信息时,一定需要先知道userid,这样才能推算出再哪个cluster进而进行查询,
假设我需要按username进行检索用户信息,需要引入额外的反向索引机制(类似HBASE二级索引),
如在redis上存储username->userid的映射,以username查询的例子变成了先通过查询username->userid,再通过userid查询相应的信息。
实际上这个做法很简单,但是我们不要忽略了一个额外的隐患,那就是数据不一致的隐患。
存储在redis里的username->userid和存储在mysql里的userid->username必须需要是一致的,这个保证起来很多时候是一件比较困难的事情,
举个例子来说,对于修改用户名这个场景,你需要同时修改redis和mysql,这两个东西是很难做到事务保证的,
如mysql操作成功 但是redis却操作失败了(分布式事务引入成本较高),
对于互联网应用来说,可用性是最重要的,一致性是其次,所以能够容忍小量的不一致出现。
毕竟从占比来说,这类的不一致的比例可以微乎其微到忽略不计(一般写更新也会采用mq来保证直到成功为止才停止重试操作)

在这样的架构下,我们来看看数据存储的瓶颈是什么?
在这个拆分理念上搭建起来的架构,理论上不存在瓶颈(sharding key能确保各cluster流量相对均衡的前提下),不过确有一件恶心的事情,那就是cluster扩容的时候重做数据的成本,如我原来有3个 cluster,但是现在我的数据增长比较快,我需要6个cluster,那么我们需要将每个cluster 一拆为二,一般的做法是

  • 摘下一个slave,停同步,
  • 对写记录增量log(实现上可以业务方对写操作 多一次写持久化mq  或者mysql主创建trigger记录写 等等方式)
  • 开始对静态slave做数据, 一拆为二
  • 回放增量写入,直到追上的所有增量,与原cluster基本保持同步
  • 写入切换,由原3 cluster 切换为6cluster

有没有类似飞机空中加油的感觉,这是一个脏活,累活,容易出问题的活,
为了避免这个,我们一般在最开始的时候,设计足够多的sharding cluster来防止可能的cluster扩容这件事情

V5.0  云计算(云数据库)
云计算现在是各大IT公司内部作为节约成本的一个突破口,
对于数据存储的mysql来说,如何让其成为一个saas(Software as a Service)是关键点。
在MS的官方文档中,把构建一个足够成熟的SaaS(MS简单列出了SaaS应用的4级成熟度)所面临的3个主要挑战:可配置性可扩展性多用户存储结构设计称为“three headed monster”
可配置性和多用户存储结构设计在Mysql SaaS这个问题中并不是特别难办的一件事情,所以这里重点说一下可扩展性。

Mysql作为一个SaaS服务,在架构演变为V4.0之后,依赖良好的sharding key设计, 已经不再存在扩展性问题,只是他在面对扩容缩容时,有一些脏活需要干,而作为SaaS,并不能避免扩容缩容这个问题!
所以只要能把V4.0的脏活变成:

  • 扩容缩容对前端APP透明(业务代码不需要任何改动)
  • 扩容缩容全自动化且对在线服务无影响

那么他就拿到了作为Saas的门票

b4

对于架构实现的关键点,需要满足对业务透明,扩容缩容对业务不需要任何改动,那么就必须 “eat our own dog food”,
在你MySQL SaaS内部解决这个问题,一般的做法是我们需要引入一个Proxy,Proxy来解析sql协议,
按sharding key 来寻找cluster, 判断是读操作还是写操作来请求主 或者 从,这一切内部的细节都由proxy来屏蔽。
这里借淘宝的图来列举一下proxy需要干哪些事情

b6
对于架构实现的关键点,扩容缩容全自动化且对在线服务无影响; 扩容缩容对应到的数据操作即为数据拆分和数据合并,要做到完全自动化有非常多不同的实现方式,总体思路和V4.0介绍的瓶颈部分有关,目前来看这个问题比 较好的方案就是实现一个伪装slave的sync slave, 解析mysql同步协议,然后实现数据拆分逻辑,把全量数据进行拆分。具体架构见下图:
b7
其中Sync slave对于Original Master来说,和一个普通的Mysql Slave没有任何区别,也不需要任何额外的区分对待。需要扩容/缩容时,挂上一个Sync slave,开始全量同步+增量同步,等待一段时间追数据。以扩容为例,若扩容后的服务和扩容前数据已经基本同步了,这时候如何做到切换对业务无影响? 其实关键点还是在引入的proxy,这个问题转换为了如何让proxy做热切换后端的问题。这已经变成一个非常好处理的问题了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_854324.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

互联网网站架构升级----消息中间件的实现方案

消息中间件对目前大中型互联网来说是非常重要的,在业务数据流动中仅次于RPC服务调用,担负着越来越复杂的网站业务从主流程上解耦的重要责任; 伦理片 http://www.gxuy.com/ 从目前互联网对消息中间件的需求来看应该分为两种类型&#xff0…

20 步打造完美网站布局设计

英文原文:Pro tips: 20 steps to the perfect website layout,编译:蝶月猋欢yeeyan Claudio Guglieri 在纽约广告公司 B-Reel 任职总监,他撰写了本网站设计培训指南,旨在帮助您了解设计网站布局的全过程。 开始讲述设计…

Bootstrap Jetstrap-快速构建你的网站

Boostrap来自于Twitter,是一个基于html,css,javascript的时尚的、直观的、强大的流行前端框架及交互组件集,可用于快速,简单构建你的网站。 Bootstrap拥有以下特性: 由匠人建,为匠人用 和您一样…

HTML一键打包IPA(苹果IOS应用)工具 网站打包 APP

工具简介 HTML一键打包IPA(苹果应用)工具可以把本地HTML项目或者网站打包为一个苹果应用IPA文件,无需编写任何代码,支持在苹果设备上安装运行。 打包工具群:429338543 下载地址: 点击进入下载页面 加群获…

2016谷歌重返中国,体验Google中国开发者网站

我早上起床时拿起手机看新闻,一个标题瞬间吸引了《Google搜索要重返中国,但这次是靠中国开发者找回 “丢失的那6年”》,激动点开一看,文章巴拉巴拉一大推,选择性阅读完后,怀着无法按捺的心情在没翻墙的手机…

求助关于java的setDefaultCloseOperation() 的位置问题!

自己摸索搞不懂,我把setDefaultCloseOperation() 放在 while(jf.isShowing()) 之后就不会执行 int x 700 int y 300 int width 500 int height 500 JFrame jf new JFrame("测试"); jf.setBounds(x, y, width, height); // 窗口的横竖位置和横竖长度 …

jsp获取网站域名 域名解析

部署主机如果有弄域名解析的话 访问http://www.domain.com时会自动请求到相应的页面http://ip:port/webApp/index.jsp 此时在index.jsp代码 Html代码 StringbasePathrequest.getScheme()"://"request.getServerName()":"request.getServerPort()path"…

50个好网站,从此上网不再虚度!

《意林》,短小精悍的小故事,每次都能打动读者的心扉!http://www.yilin.net.cn 丁香园,一个生物学和医学专业的挚爱。http://www.dxy.cn 生物谷,看了名字就知道是生物类的网站。http://www.bioon.com 《环球科学》杂志的…

可扩展、高可用、负载均衡网站架构设计方案

可扩展、高可用、负载均衡网站架构设计方案作者:田逸(sery163.com) 本作品已刊登在《IT实验室周报》第6期第6版 基本需求: 1、高可用性:将停止服务时间降低到最低甚至是不间断服务 2、可扩展性:随着访问的增加,系统具备良好的伸缩…

大流量网站的底层系统架构

动态应用,是相对于网站静态内容而言, 是指以c/c、php、Java、perl、.net等 服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用…

2015进口跨境电商网站大全

常用跨界电商企业网址跨境电商其它平台: 跨境电商其它跨境电商资讯类跨境电商有线下店

[译]MVC网站教程(四):MVC4网站中集成jqGrid表格插件(系列完结)

目录 1. 介绍 2. 软件环境 3. 在运行示例代码之前(源代码 示例登陆帐号) 4. jqGrid和AJAX 5. GridSettings 6. GridModelBinder 7. LinqExtensions 8. 数据实体类和LINQ 9. 在…

读书笔记:《大型网站系统与Java中间件实践》

文章目录大型网站演进数据库读问题写问题应用应对的挑战引入服务层框架:多机房问题序列化与反序列化问题异步调用线程池隔离服务请求合并数据访问层一致性的基础理论--CAP/BASE多机的Sequence问题消息中间件功能消息一致性避免对消息中间件的强依赖级联、嵌套topic/…

密评必备网站汇总

1、国密SSL实验室 网址:https://gmssl.cn/gmssl/index.jsp 推荐理由:提供很多密码相关工具 2、商用密码认证业务网 网址:http://service.scctc.org.cn/cer/cerall/list-c38.html 推荐理由:提供很多密码产品认证查询&#xff0…

乞讨网站,要饭网,个人要饭网,在线要饭网站;含socket 通信;双端支付源码 ;源码

展示站点:www.gaodc.site; 样式动态控制,因为快过年了所以是过年主题; 主要技术 springmvc websocket bootstrap jq 阿里支付 微信支付 ;源码请邮件;仅供交流; 截图

配置静态地址转换------发布公司内网网站到互联网上

拓扑图如下: 第1步:配置路由器R1启用的端口信息 Router>en Router#conf t Enter configuration commands, one per line. End with CNTL/Z. Router(config)#host R1 R1(config)#int fa0/0 R1(config-if)#ip add 192.168.10.1 255.255.255.0 R1(confi…

web网站添加ico图标

上线的网站都会配置ico,红框位置的图标 配置方法: 1、选择一张正方形的图片 2、打开ico在线制作网站,我推荐 https://www.bitbug.net/ 3、上传图片,并选择ico大小 4、生成好的图片浏览器会自动下载到本地,将图片命…

关于某些网站的图片盗链功能,相关http 请求的解决方法

其实 关键就是 header中 的 Referer 属性,可以通过firebug 查看头信息 并获得Referer,但有些情况下可能不能获取,就只能通过抓包的方法来获得了。 [java] view plaincopy print?import java.io.BufferedInputStream; import java.io.Buffer…

技术网站

联合主办 IT168(http://www.it168.com/) 中国最具影响力和权威的IT导购、应用资讯专业网站。创立于1999年,为个人和企业进行IT产品购买及应用提供服务,在用户群体中拥有极高知信度和忠诚度。 旗下支持媒体:China Unix…

技术网站

联合主办 IT168(http://www.it168.com/) 中国最具影响力和权威的IT导购、应用资讯专业网站。创立于1999年,为个人和企业进行IT产品购买及应用提供服务,在用户群体中拥有极高知信度和忠诚度。 旗下支持媒体:China Unix…