原理这就是索引下推呀

news/2024/4/25 10:05:15/文章来源:https://blog.csdn.net/qq_39654841/article/details/129979903

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。

索引下推是之前面试的时候遇到的一个面试题,当时没有答上来,今天来学习一下。

介绍索引下推之前先看一下MySQL基础架构。

MySQL通常被分为两层架构,即Server层和存储引擎层。Server层处理查询解析、分析、优化、缓存以及与客户端的交互等操作,而存储引擎层负责数据的存储和提取。MySQL支持多种不同的存储引擎,包括InnoDB、MyISAM、Memory等。通过使用不同的存储引擎,可以实现不同的功能和性能特点。

MySQL基础架构图

什么是索引下推

索引下推(Index Condition Pushdown,简称ICP) 是 MySQL 5.6 开始引入的一项优化技术,可以在执行查询时将过滤条件 下推到存储引擎层 。索引下推技术允许存储引擎使用非键列索引来筛选不符合条件的行,减少回表(访问主键索引)的次数,从而提高查询性能。

什么是回表

二级索引(又称非聚簇索引)并不包含行记录的全部数据,二级索引上除了当前列以外还包含一个主键,通过这个主键来查询聚集索引上对应的数据。当查询除索引以外的其他数据时,由于数据无法通过二级索引获取就需要通过主键来找到完整的行记录,这就是回表。

索引下推的条件

索引下推的适用条件如下:

  1. ICP仅适用于 InnoDBMyISAM 引擎,包括它们的分区表。
  2. ICP适用于执行计划type是 range, ref, eq_refref_or_null 的查询语句
  3. ICP 只适用于二级索引
  4. 存储函数不能使用索引下推,因为存储引擎无法调用存储函数
  5. 引用子查询条件不能使用索引下推
  6. 如果索引列的数据类型是 BLOBTEXT 等大数据类型,则索引下推无法使用。
  7. 索引下推只适用于 联合索引

怎么判断一个查询语句是否使用了索引下推

可以通过 MySQL 数据库的慢查询日志或查询性能分析工具来判断一个查询语句是否使用了索引下推。以下是一些常用的方法:

  1. 查看慢查询日志 。在 MySQL 数据库中,可以开启慢查询日志功能来记录执行时间超过指定阈值的查询语句。在慢查询日志中,可以查看查询语句的执行计划,如果执行计划中包含 Using index condition 等信息,则说明该查询语句使用了索引下推。
  2. 使用 EXPLAIN 命令 。在 MySQL 数据库中,可以使用 EXPLAIN 命令来查看查询语句的执行计划。如果执行计划 Extra 中包含 Using index condition 等信息,则说明该查询语句使用了索引下推。
  3. 使用查询性能分析工具 。可以使用一些查询性能分析工具,如 pt-query-digest 等,来分析 MySQL 数据库的查询性能。这些工具可以自动识别使用了索引下推的查询语句,并给出相应的分析结果。

如何使用索引下推?

索引下推是 默认开启 的,可以通过 optimizer_switch 系统变量来控制。如果要关闭索引下推,可以执行以下命令:

set optimizer_switch='index_condition_pushdown=off';

如果要开启索引下推,可以执行以下命令:

set optimizer_switch='index_condition_pushdown=on';

查看是否开启索引下推,可以执行如下命令:

SHOW VARIABLES LIKE 'optimizer_switch';

索引下推

索引下推的流程

  1. 查询语句中的 WHERE 子句包含一个或多个过滤条件。
  2. 如果查询语句中使用了索引,则 MySQL 数据库会将过滤条件下推到存储引擎层,以便在存储引擎中进行过滤,减少返回的记录数量。
  3. 如果过滤条件中包含了非索引列的比较操作符,则 MySQL 数据库会将这些条件下推到存储引擎层进行处理,这种操作称为索引下推优化。

如果没有使用索引下推,MySQL 数据库需要先扫描所有的数据行,然后再根据 WHERE 子句中的条件进行筛选,这会导致返回的数据量较大,查询效率较低。而使用索引下推可以在存储引擎层级别上对数据进行过滤,减少不必要的数据扫描,提高查询效率。

下面举个例子说明一下:

有下面这样一张表:

CREATE TABLE `users_copy` (`Id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',`name` varchar(32) DEFAULT NULL COMMENT '名称',`age` tinyint(3) DEFAULT NULL COMMENT '性别',`create_date` datetime DEFAULT NULL COMMENT '创建时间',`is_deleted` bit(1) NOT NULL DEFAULT b'0',PRIMARY KEY (`Id`) USING BTREE,KEY `idx_age_name` (`age`,`name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='系统用户表'

其中agename组成联合索引。

有下面这样一条SQL语句:

SELECT * FROM users_copy WHERE age = 18 and `name` LIKE '%M%';

在不使用索引下推情况下执行阶段的流程如下:

  1. 利用索引从存储引擎中查询age = 18的用户数据,查询完成返回给 server层
  2. 由于使用的是二级索引且没有索引覆盖,所以 server层 会取第一次查询到的每条数据的主键值,然后根据主键回表再去存储索引查询一次获取完整行数据。
  3. 回表查完之后把完整行数据的返回到 server层 再判断 LIKE '%M%'的数据。
  4. 最后返回给客户端。

下面看一下没有开启索引下推情况下的EXPLAIN执行计划:

查询计划中使用了 Using where 表示使用了回表来查询数据。

使用索引下推情况下执行阶段的流程如下:

  1. MySQL把查询条件 age = 18 and name LIKE '%M%' 下推到存储引擎
  2. 然后查询name以M开头的用户数据,查询完并不返回给 server层 而是会检查 name 列只返回 name LIKE '%M%'的数据,其他不符合条件的数据不返回
  3. 最后返回给 server层 ,经过 server层 处理之后再返回给客户端。

下面看一下开启索引下推情况下的EXPLAIN执行计划:

Img

查询计划中使用了 Using index condition 表示使用了索引下推查询数据。

以上的例子就好比你同事要在代码层(非SQL代码)根据nameage查用户列表,他先通过for循环根据age去一个一个数据库查询到完整的数据,然后再判断age是否是符合条件,符合条件就放到结果集中。
而你技术远在他之上一眼就看出这段代码要优化,就让他把nameage两个查询条件一起传到数据库层进行查询,然后再返回用户列表,这样减少了查询次数和IO,提高了查询性能。

总结

需要注意的是,使用索引下推优化时,需要注意数据类型的兼容性问题,以避免因为类型不兼容导致查询结果不准确。此外,不同的存储引擎对索引下推的支持程度也不同,需要针对具体的存储引擎进行优化和调整。

索引下推到此就结束了,今天又学了一个知识点。关注我学习更多知识点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_103373.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【AI炼丹术】写深度学习代码的一些心得体会

写深度学习代码的一些心得体会 体会1体会2体会3总结内容来源 一般情况下,拿到一批数据之后,首先会根据任务先用领域内经典的Model作为baseline跑通,然后再在这个框架内加入自己设计的Model,微调代码以及修改一些超参数即可。总体流…

汇编语言(第3版) - 学习笔记 - 实验8 分析一个奇怪的程序

实验8 分析一个奇怪的程序 题目解析顺序执行查看反汇编测试一下 题目 分析下面的程序,在运行前思考:这个程序可以正确返回吗? 运行后再思考:为什么是这种结果? 通过这个程序加深对相关内容的理解。 assume cs:codesg codesg segmentmov ax, 4c00h int 21h …

JavaWeb-Tomcat

目录 1.什么是Tomcat 2.Tomcat 概述 3.Tomcat基本使用 1.什么是Tomcat Tomcat官网:Apache Tomcat - Welcome! 【摘自百度百科】 Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apac…

MySQL: 数据类型之整数型、浮点数、时间日期

目录 前言: 数据类型: 整数型: 浮点数与定点数: 浮点数: 定点数: 日期与时间: DATATIME: DATE: TIMESTAMP: ​编辑 YEAR: TIME: 前言: 前面的几篇写了如何创…

2023年主流的选择仍是Feign, http客户端Feign还能再战

👳我亲爱的各位大佬们好😘😘😘 ♨️本篇文章记录的为 微服务组件之http客户端Feign 相关内容,适合在学Java的小白,帮助新手快速上手,也适合复习中,面试中的大佬🙉🙉🙉。 …

音视频开发面试题大盘点:掌握这些基础知识,你就能轻松应对面试

前言 音视频开发作为一种高技术含量的领域,随着人们对数字媒体的需求不断增加,其前景非常广阔。预计在2023年,音视频开发领域仍将继续保持快速发展的态势,尤其是在移动互联网、物联网、虚拟现实、增强现实等领域。 根据BOSS招聘…

Jenkins Kubernetes

Kubernetes集成Harbor Harbor 私服配置 在Kubernetes的master和所有worker节点上加上harbor配置,修改daemon.json,支持Docker仓库,并重启Docker。 sudo vim /etc/docker/daemon.json {"registry-mirrors": ["https://jrabv…

微信小程序 开发中的问题(simba_wx)

目录 一、[将 proto 文件转成 json 文件](https://blog.csdn.net/wzxzRoad/article/details/129300513)二、[使用 test.json 文件](https://blog.csdn.net/wzxzRoad/article/details/129300513)三、[微信小程序插件网址](https://ext.dcloud.net.cn/)四、[vant-weapp网址](http…

从0搭建Vue3组件库(八):使用 release-it 实现自动管理发布组件库

使用 release-it 实现自动管理发布组件库 上一篇文章已经打包好我们的组件库了,而本篇文章将介绍如何发布一个组件库。当然本篇文章介绍的肯定不单单只是发布那么简单。 组件库发布 我们要发布的包名为打包后的 easyest,因此在 easyest 下执行pnpm init生成package.json {&…

本地缓存解决方案Caffeine | Spring Cloud 38

一、Caffeine简介 Caffeine是一款高性能、最优缓存库。Caffeine是受Google guava启发的本地缓存(青出于蓝而胜于蓝),在Cafeine的改进设计中借鉴了 Guava 缓存和 ConcurrentLinkedHashMap,Guava缓存可以参考上篇:本地缓…

【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(九)Nacos+Sentinel+Seata

NacosSentinelSeata 9/9 1、SpringCloud Alibaba简介1.1 主要功能1.2 具体组件 2、SpringCloud Alibaba Nacos服务注册和配置中心2.1 Nacos介绍2.2 Nacos下载安装2.3 使用Nacos作为注册中心2.3.1 在父工程的pom文件中引入springcloudalibaba依赖2.3.2 创建cloudalibaba-provide…

适合学生党的蓝牙耳机品牌有哪些?性价比高的无线耳机推荐

相较于有线耳机,蓝牙耳机的受欢迎程度可谓是越来越高,当然,这也离不开部分手机取消耳机孔的设计。最近看到很多网友问,适合学生党的蓝牙耳机品牌有哪些?针对这个问题,我来给大家推荐几款性价比高的无线耳机…

static_cast、dynamic_cast和reinterpret_cast区别和联系

其实网上相关的资料不少,但是能够说清楚明白这个问题的也不多。 于是,我尝试着问了一下AI,感觉回答还可以,但是需要更多的资料验证。 让我们先看看AI是怎么回答这个问题的。 static_cast、dynamic_cast和reinterpret_cast都是C中…

视频音频提取器推荐:快速提取视频中的音频!

视频中的音频可以用于很多用途,比如制作配乐、音频剪辑等。但是,许多人并不知道如何将视频中的音频提取出来。如果您也是这样的情况,那么本文为您介绍一个简单易用的视频音频提取器:。 它是一个免费的在线工具,可以帮…

如何在Web上实现激光点云数据在线浏览和展示?

无人机激光雷达测量是一项综合性较强的应用系统,具有数据精度高、层次细节丰富、全天候作业等优势,能够精确测量三维现实世界,为各个行业提供了丰富有效的数据信息。但无人机激光雷达测量产生的点云数据需要占用大量的存储空间,甚…

DataGridView 真·列头不高亮 真·列头合并

高亮BUG VB.Net,在 .NET Framework 4.8 的 WinForm 下(即不是 WPF 的绘图模式、也不是 Core 或 Mono 的开发框架),使用 DataGridView 行模式,还是有个列头表现为高亮显示: 查找各种解决方式: 设置 ColumnHeadersDefaultCellSty…

YOLOv1代码复现2:数据加载器构建

YOLOv1代码复现2:数据加载器构建 前言 ​ 在经历了Faster-RCNN代码解读的摧残后,下决心要搞点简单的,于是便有了本系列的博客。如果你苦于没有博客详细告诉你如何自己去实现YOLOv1,那么可以看看本系列的博客,也许可以帮…

【Java实战篇】Day13.在线教育网课平台--生成支付二维码与完成支付

文章目录 一、需求:生成支付二维码1、需求分析2、表设计3、接口定义4、接口实现5、完善controller 二、需求:查询支付结果1、需求分析2、表设计与模型类3、接口定义4、接口实现步骤一:查询支付结果步骤二:保存支付结果&#xff08…

VUE3如何定义less全局变量

默认已经安装好了less,这里不过多讲。 (1)首先我们需要下载一个插件依赖: npm i style-resources-loader --save-dev (2)VUE3里配置vue.config.js文件内容 代码: const path require("p…

HashMap如何解决哈希冲突

HashMap如何解决哈希冲突 Hash算法和Hash表Hash冲突解决哈希冲突的方法开放地址法链式寻址法再hash法建立公共溢出区 Hash算法和Hash表 Hash算法就是把任意长度的输入通过散列算法编程固定长度的输出。这个输出结果就是一个散列值。 Hash表又称为“散列表”,它是通…