Mysql实战之日志系统:一条SQL更新语句是如何执行的

news/2024/4/24 4:20:47/文章来源:https://blog.csdn.net/constant_rain/article/details/129152526

1.前言

上一篇咱们了解了MySQL 的执行过程,其中设计连接器、分析器、优化器、执行器和存储引擎,接下来我将给大家讲解一下在MySQL中一条更新语句是如何执行。我相信大家可能听公司的DBA提起过,可以将数据恢复到半个月内任意时间的状态,是不是感觉很高大上,很厉害呢,下面我就将这个谜底一步一步解开

2. 首次分析更新语句执行

例如我们存在如下一下update 语句

update order set status = 2 where id = 10;

根据上一章,我们可以知道它的执行流程是如下图
在这里插入图片描述
客服端先通过连接器连接数据库,然后通过分析器发现是更新的SQL语句,优化器针对SQL语句进行优化,使用id索引,最后执行器执行SQL语句
到这里大家会说:这不是和查询语句一样吗,都是这些流程,其实不然,更新语句还设计两个比较重要的模块,那就是我们今天主要介绍的内容:redo log(重做日志)和binlog(归档日志)

3.先看redo log

再说将redo log之前,先给大家讲一个关于孔乙己的故事,酒店掌柜有一个粉板,专门用来记录客人的赊账记录。如果赊账的人不多,那么他可以把顾客名和账目写到板上。但是如果赊账的人多了,粉板总会有记不下的时候,这个时候掌柜一定还有一个专门记录赊账的账本。
如果有人要赊账或者还账的话,掌柜一般有两种做法:

  • 直接把账本拿出来,把此次赊的账加上或者扣除掉
  • 将此次赊的账记录到粉板上,等打烊了在把账本拿出来,把今天的粉板的账记录到账本

如果是在生意比较火的时候,掌柜肯定会选择第二种方式,因为第一种操作太麻烦了,每次都要从账本里面找到对应人的账,进行计算,然后更新账本。相比之下,先把账记录到粉板上,等打烊在一块统计到账本上,更省时。

MySQL同样也存在类似的问题,就是如果每次更新操作都需要写入磁盘,然后磁盘也要找到对应的记录,然后更新,整个过程IO成本和查找成本都很高。为了解决这个问题,MySQL设计者就采取了类似掌柜粉板的思路来提升更新的效率

当有更新操作执行的时候,InnoDB引擎就会先把记录写到redo log里面,并更新内存,这样更新操作就算结束了。InnoDB引擎会在适当的时候,将这个操作记录更新到磁盘,这个写磁盘的操作一般都是在MySQL比较空闲的时候执行。

这里存在一个问题,就是redo log不可能是无限大的,总有因为频繁操作,将redo log打满的情况,InnoDB的设计人员也考虑到了这一点,将redo log设定成了固定大小,默认是一组四个文件,一个文件1G,也就是说redo log总大小是4GB,下图就是redo log的设计图
在这里插入图片描述

wirte pos是记录当前的位置,一边写一遍后移,写到第三号文件的末尾就回到0号文件开头。checkpoint 是当前要察除的位置,也是往后推移并且循环的,察除记录前要把记录更新到数据文件。

wirte pos和checkpoint 之间还空着的部分,可以用来记录新的操作。如果wirte pos追上checkpoint,标识redo log已经满了,此时不能在执行更新操作,需要将内存的数据同步到磁盘中了。

有了redo log,InnoDB就可以保证即使数据库发生重启,之前提交的记录都不会丢,这个能力称之为crash-safe。

4.再看binlog

上一篇文章我们讲过数据库架构分为两层,一个是server层,一个是存储引擎层,而binlog就属于server层的日志,而redo log是InnoDB独有的日志

说道这里,大家肯定会有一个疑惑,为啥会有两个日志系统呢?

因为一开始MySQL并没有InnoDB引擎,MyISAM是MySQL自带的引擎,但是MyISAM没有日志系统的功能,只存在server层的binlog 归档日志,InnoDB是后来集成到mysql里面去的

下面看一下两种日志的不同点

  1. redo log是InnoDB引擎独有的;binlog是mysql共用的
  2. redo log是物理日志,记录的是“在某个数据页上做了什么修改”;binlog是逻辑日志,记录的是这个语句的原始逻辑,比如给id=2这一行的c字段加1.
  3. redo log日志是循环写的,空间固定会用完;binlog日志是追加写的,不会覆盖以前的日志

5.再次分析更新语句执行

上面我们对两种日志做了概念性讲解,下面看一下执行器和InnoDB引擎在执行update语句是的内部流程
在这里插入图片描述

  1. 执行器先找引擎取到id=2的这一行,因为id是主键,直接可以通过主键索引查到这一行,如果id=2这一行所在的数据页本来就在内存中,执行器直接放回结果,如果不在,在需要将磁盘的数据,写到内存在返回结果
  2. 执行器会将id=2的这一行的c字段进行加1操作,然后会更新当前行
  3. InnoDB引擎将当前行更新到内存后,redo log日志会记录当前更新操作,此时redo log日志处于prepare的状态。然后告知执行器执行完成,可以提交事务了
  4. binlog日志会记录当前update语句,并且把binlog写入磁盘
  5. 执行器调用引擎提交事务,引擎把刚刚写入的redo log改成提交状态(commit),更新完成

大家可以看到我们对redo log日志做了两次提交,也就是我们平常说的两阶段提交

6.两阶段提交

问:为啥需要进行两阶段提交

答:两阶段提交是为了让binlog和redo log可以保持数据一致

问:如果不使用两阶段提交,会产生什么样的问题?

答:如果不存在两阶段提交,那边就会有两种情况。

  1. 先写redo log日志,后写binlog日志。如果我们写完了redo log日志,但是binlog日志还没有写,发生了宕机,我们在重启MySQL的时候用binlog恢复数据的话,id=2这一行的数据没有完成加1操作,和之前库的数据不一致了
  2. 先写binlog日志,后写redo log日志。如果我们写完了binlog日志,但是redo log日志还没有写,发生了宕机,此时事务没有生效,我们通过binlog日志恢复数据,发现id=2这一行已经完成加1操作了,和之前库的数据不一致了

7.小结

今天主要讲了MySQL最重要的两个日志,一个是server层的binlog归档日志,一个是InnoDB引擎的redo log重做日志

redo log 用于保证 crash-safe 能力。innodb_flush_log_at_trx_commit 这个参数设置成 1 的时候,表示每次事务的 redo log 都直接持久化到磁盘。这个参数我建议你设置成 1,这样可以保证 MySQL 异常重启之后数据不丢失。

sync_binlog 这个参数设置成 1 的时候,表示每次事务的 binlog 都持久化到磁盘。这个参数我也建议你设置成 1,这样可以保证 MySQL 异常重启之后 binlog 不丢失。

我还跟你介绍了与 MySQL 日志系统密切相关的“两阶段提交”。两阶段提交是跨系统维持数据逻辑一致性时常用的一个方案,即使你不做数据库内核开发,日常开发中也有可能会用到。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_72567.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Scala集合详解(第七章:集合、数组、列表、set集合、map集合、元组、队列、并行)(尚硅谷笔记)

集合第七章:集合7.1 集合简介7.1.1 不可变集合继承图7.1.2 可变集合继承图7.2 数组7.2.1 不可变数组7.2.2 可变数组7.2.3 不可变数组与可变数组的转换7.2.4 多维数组7.3 列表 List7.3.1 不可变 List7.3.2 可变 ListBuffer7.4 Set 集合7.4.1 不可变 Set7.4.2 可变 mutable.Set7.…

Android system实战 — Android R(11) 进程保活白名单

Android system实战 — Android R 进程保活白名单0. 前言1. 具体实现1.1 准备工作1.2 源码实现1.2.1 源码1.2.2 diff文件0. 前言 最近在Android R上实现一些需求,进行记录一下,关于进程保活的基础知识可以参考Android system — 进程生命周期与ADJ&#…

自动驾驶路径规划概况

文章目录前言介绍1. 路径规划在自动驾驶系统架构中的位置2. 全局路径规划的分类2.1 基础图搜索算法2.1.1 Dijkstra算法2.1.2 双向搜索算法2.1.3 Floyd算法2.2 启发式算法2.2.1 A*算法2.2.2 D*算法2.3 基于概率采样的算法2.3.1 概率路线图(PRM)2.3.2 快速…

蓝牙运动耳机什么牌子的好、运动蓝牙耳机排行榜推荐

近些年,户外运动兴起,运动耳机迎来爆发增长,拒绝运动乏味,追求健康运动方式,已经成为当下年轻人的共同诉求。跑步骑行听音乐,已经是运动爱好者再熟悉不过的操作,很多人在运动中离不开音乐的节奏…

代码随想录算法训练营第七天 | 454.四数相加II 、 383. 赎金信、15. 三数之和、18. 四数之和 、总结

打卡第七天&#xff0c;还是哈希表。 今日任务 454.四数相加II383.赎金信15.三数之和18.四数之和总结 454.四数相加II 代码随想录 class Solution { public:int fourSumCount(vector<int>& nums1, vector<int>& nums2, vector<int>& nums3, ve…

【vue2每日小知识】实现directive自定义指令的封装与全局注册

&#x1f973;博 主&#xff1a;初映CY的前说(前端领域) &#x1f31e;个人信条&#xff1a;想要变成得到&#xff0c;中间还有做到&#xff01; &#x1f918;本文核心&#xff1a;将我们的自定义指令directive统一管理并批量注册 目录 一、directive自定义指令介绍 二…

DS期末复习卷(六)

一、选择题(30分) 1&#xff0e; 设一组权值集合W{2&#xff0c;3&#xff0c;4&#xff0c;5&#xff0c;6}&#xff0c;则由该权值集合构造的哈夫曼树中带权路径长度之和为&#xff08; D &#xff09;。 (A) 20 (B) 30 (C ) 40 (D) 45 W(23)*3(456)*245 2&#xff0e;执行一…

Python、Java、JavaScript、C、Go等编程语言如何实现“定时器”功能

这是CSDN平台2月推出的一个活动(活动链接为&#xff1a;CSDN 征文活动)&#xff0c;聊聊时间的话题&#xff0c;小编我也不知道有什么好聊的时间的话题&#xff0c;看了CSDN给出的部分话题上&#xff0c;有一个这样的话题&#xff0c;如何用各种编程语言实现“定时器”&#xf…

GUI可视化应用开发及Python实现

0 建议学时 4学时&#xff0c;在机房进行 1 开发环境安装及配置 1.1 编程环境 安装PyCharm-community-2019.3.3 安装PyQt5 pip install PyQt5-tools -i https://pypi.douban.com/simple pip3 install PyQt5designer -i https://pypi.douban.com/simple1.2 环境配置 选择“…

JVM13命令行

2. JVM 监控及诊断工具-命令行篇 2.1. 概述 简单命令行工具 在我们刚接触 java 学习的时候&#xff0c;大家肯定最先了解的两个命令就是 javac&#xff0c;java&#xff0c;那么除此之外&#xff0c;还有没有其他的命令可以供我们使用呢&#xff1f; 我们进入到安装 jdk 的…

【11】FreeRTOS的延时函数

目录1.延时函数-介绍2.相对延时函数-解析2.1函数prvAddCurrentTaskToDelayedList-解析2.3滴答定时器中断服务函数xPortSysTickHandler()-解析2.4函数taskSWITCH_DELAYED_LISTS() -解析3.延时函数-实验4.总结1.延时函数-介绍 函数描述vTaskDelay()相对延时xTaskDelayUntil()绝对…

CTFer成长之路之SSRF漏洞

SSRF漏洞CTF SSRF Training 题目描述: web容器中存在一个flag&#xff0c;mysql中存在一个管理员账号密码&#xff0c;其余容器中均没有特定flag mysql容器中内置 tcpdump vulnweb容器中内置一个 fpm.py 攻击脚本 docker-compose.yml version: "3" services:w…

Spring代理模式——静态代理和动态代理

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…

笔记本电脑电池和充电器CE认证IEC62133测试

EC 符合性声明 - 您可以从品牌所有者或欧盟境内的商品官方进口商处获取此文件。证明您的商品经过检测符合下表所列标准的文件。您也可以从品牌所有者或欧盟境内的官方进口商处获取此文件。原品牌的笔记本电脑或手机&#xff08;如三星、苹果、戴尔、惠普等&#xff09;提供的原…

【验证码的识别】—— 点触式验证码的识别

一、前言 大家好&#xff0c;不知不觉的我来csdn已经又一周年了&#xff0c;在这一年里&#xff0c;我收获了很多东西&#xff0c;我是2022年2月22日入驻CSDN的&#xff0c;一开始只是为了方便浏览文章的&#xff0c;后来&#xff0c;我也有事没事发发文章&#xff0c;创作了1…

leetcode 1011. Capacity To Ship Packages Within D Days(D天内运送包裹的容量)

数组的每个元素代表每个货物的重量&#xff0c;注意这个货物是有先后顺序的&#xff0c;先来的要先运输&#xff0c;所以不能改变这些元素的顺序。 要days天内把这些货物全部运输出去&#xff0c;问所需船的最小载重量。 思路&#xff1a; 数组内数字顺序不能变&#xff0c;就…

Python 自动化测试必会技能板块—unittest框架

说到 Python 的单元测试框架&#xff0c;想必接触过 Python 的朋友脑袋里第一个想到的就是 unittest。的确&#xff0c;作为 Python 的标准库&#xff0c;它很优秀&#xff0c;并被广泛应用于各个项目。但其实在 Python 众多项目中&#xff0c;主流的单元测试框架远不止这一个。…

【C ++】C++入门知识(二)

C入门&#xff08;二&#xff09; 作者&#xff1a;小卢 专栏&#xff1a;《C》 喜欢的话&#xff1a;世间因为少年的挺身而出&#xff0c;而更加瑰丽。 ——《人民日报》 1.引用 1.1.引用的概念及应用 引用&#xff08;&&#xff09; 引用不是新定义一个变量&#xff0…

C语言格式化输出总结:%d,%c,%s,%f, %lf,%m.nd,%m.nf,%m.ns 以及sprintf函数

凡事发生必将有益于我&#xff0c;高手&#xff0c;从来都不仅仅是具备某种思维的人&#xff0c;而是那些具备良好学习习惯的人&#xff0c;成为高手&#xff0c;无他&#xff0c;手熟尔&#xff01;加油在最近的学习之中&#xff0c;对于格式化输出这个知识点&#xff0c;这里…

Spring自动装配的底层逻辑

Spring是如何自动装配Bean的&#xff1f;看源码一些自己的理解&#xff0c;如有错漏&#xff0c;请指正 使用Spring之前我们要先去web.xml中设置一下Spring的配置文件&#xff0c;在Spring的配置文件中&#xff0c;是通过component-scan扫描器去扫描base-package底下所有的类装…