据库管理-第196期 实战RDMA(20240528)

news/2024/7/14 18:14:54/文章来源:https://blog.csdn.net/yhw1809/article/details/139244656

数据库管理196期 2024-05-28

  • 数据库管理-第196期 实战RDMA(20240528)
    • 1 环境
    • 2 操作系统配置
    • 3 配置NVMe over RDMA
    • 4 挂载磁盘
      • 处理并挂载磁盘:
    • 5 RDMA性能测试
    • 6 iSCSI部署
    • 7 iSCSI性能测试
    • 8 性能对比
    • 总结

数据库管理-第196期 实战RDMA(20240528)

作者:胖头鱼的鱼缸(尹海文)
Oracle ACE Associate: Database(Oracle与MySQL)
PostgreSQL ACE Partner
青学会(青年数据库学习互助会)外部顾问
10年数据库行业经验,现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家、年度墨力之星,ITPUB认证专家、专家百人团成员,OCM讲师,PolarDB开源社区技术顾问,OceanBase观察团成员
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号,非著名社恐(社交恐怖分子)
公众号:胖头鱼的鱼缸;CSDN:胖头鱼的鱼缸(尹海文);墨天轮:胖头鱼的鱼缸;ITPUB:yhw1809。
除授权转载并标明出处外,均为“非法”抄袭

本期使用最新的Oracle Linux 8.9来做测试,这里也使用VMware Workstation Pro 17.5.0来做测试,基于Soft-RoCE进行演示。

1 环境

具体虚拟机配置如下:

主机名IP地址内存本机磁盘存储磁盘操作系统版本
ol8-app10.10.10.512G20G-Oracle Linux 8.9
ol8-storage10.10.10.528G20G10GOracle Linux 8.9

2 操作系统配置

#关闭防火墙
systemctl stop firewalld.service 
systemctl disable firewalld.service#关闭SELinux
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
setenforce 0#配置hosts
cat >> /etc/hosts <<EOF
10.10.10.51 ol8-app
10.10.10.52 ol8-storage
EOF#安装NVMe工具
dnf -y install nvme-cli#检查内核RDMA支持
cat /boot/config-$(uname -r) | grep RXE

y或m代表支持
image.png
image.png

#安装RDMA软件
dnf -y install rdma-core libibverbs-utils libibverbs librdmacm libibumad #配置网卡RDMA
rdma link add rxe_0 type rxe netdev ens160
##其中rex_0为配置RDMA设备名,ens160则是物理网卡名称#检查网卡RDMA配置
rdma link

image.png
image.png

3 配置NVMe over RDMA

在主机ol8-storage操作:

#配置RDMA网卡
rdma link add rxe_0 type rxe netdev ens160#加载RXE与NVMe模块
modprobe rdma_rxe
modprobe nvmet
modprobe nvmet-rdma
modprobe nvme-rdma#创建NVMe子系统
mkdir /sys/kernel/config/nvmet/subsystems/nvme-subsys01
cd /sys/kernel/config/nvmet/subsystems/nvme-subsys01#允许所有主机访问
echo 1 > attr_allow_any_host#创建namespace
mkdir namespaces/10
cd namespaces/10#指定对应磁盘并启用
echo -n /dev/nvme0n2> device_path
echo 1 > enable#创建端口
mkdir /sys/kernel/config/nvmet/ports/1
cd /sys/kernel/config/nvmet/ports/1
echo "10.10.10.52" > addr_traddr#配置模式、端口及IPv4
echo rdma > addr_trtype
echo 4420 > addr_trsvcid
echo ipv4 > addr_adrfam#创建软连接映射端口与磁盘
ln -s /sys/kernel/config/nvmet/subsystems/nvme-subsys01 /sys/kernel/config/nvmet/ports/1/subsystems/nvme-subsys01#检查端口
dmesg -T| grep "enabling port"

image.png

4 挂载磁盘

在主机ol8-app操作:

#配置RDMA网卡
rdma link add rxe_0 type rxe netdev ens160#加载NVMe模块
modprobe nvmet
modprobe nvmet-rdma
modprobe nvme-rdma#搜索磁盘
nvme discover -t rdma -q nvme-subsys01 -a 10.10.10.52 -s 4420

image.png

#连接磁盘
nvme connect -t rdma -q nvme-subsys01 -n nvme-subsys01 -a 10.10.10.52 -s 4420

image.png

#如需取消挂载:
nvme disconnect -n nvme-subsys01#如有多块磁盘则重复第三节中的部分操作

处理并挂载磁盘:

pvcreate /dev/nvme1n1
vgcreate rdmavg01 /dev/nvme1n1
lvcreate -l 100%VG -n rdmalv01 rdmavg01
mkfs.xfs /dev/mapper/rdmavg01-rdmalv01
mount /dev/mapper/rdmavg01-rdmalv01 /mnt

image.png

5 RDMA性能测试

这里在源端和目标端使用fio分别进行针对数据库8K块的测试,先通过fio写满磁盘1次,再进行测试:

#顺序写
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=write --bs=8k  --filename=/mnt/write.txt --runtime=120 --time_based --ioengine=libaio --direct=1 --group_reporting --name=write#顺序读
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=read --bs=8k --filename=/mnt/read.txt --runtime=120 --time_based --ioengine=libaio --direct=1 --group_reporting --name=read#随机写
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=randwrite --bs=8k --runtime=120 --time_based --filename=/mnt/randwrite.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_write#随机读
fio --iodepth=128 --numjobs=4 --size=512MB --norandommap --readwrite=randread --bs=8k --runtime=120 --time_based --filename=/mnt/randread.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_read

image.png
image.png
image.png
image.png

6 iSCSI部署

在主机ol8-storage操作:

#安装targetcli(iSCSI相关软件默认安装)
dnf -y install targetcli#删除逻辑卷
lvremove /dev/mapper/rdmavg01-rdmalv01
vgremove rdmavg01
pvremove /dev/nvme0n2targetcli #进入终端
> cd /backstores/block
> create slave /dev/nvme0n2 #创建并制定共享磁盘
> cd /iscsi
> create iqn.2024-05.com.iscsi.www:oracle #创建iqn标签,需要全网唯一
> cd iqn.2024-05.com.iscsi.www:oracle/tpg1/acls 
> create iqn.2024-05.com.iscsi.www:oracle #创建ACL访问规则
> cd /iscsi/iqn.2024-05.com.iscsi.www:oracle/tpg1/luns
> create /backstores/block/slave
> exit#指定iqn标签,与ACL制定名称一致
echo "InitiatorName=iqn.2024-05.com.iscsi.www:oracle">/etc/iscsi/initiatorname.iscsi#启动iSCSI相关服务
systemctl restart iscsi
systemctl restart iscsid
systemctl start target.service 
systemctl enable target.service

在主机ol8-app操作:

#指定iqn标签,与ACL制定名称一致
echo "InitiatorName=iqn.2024-05.com.iscsi.www:oracle">/etc/iscsi/initiatorname.iscsi#搜索并连接磁盘
iscsiadm -m discovery -t st -p 10.10.10.52
iscsiadm -m node -T iqn.2024-05.com.iscsi.www:oracle --loginpvcreate /dev/sda
vgcreate iscsivg01 /dev/sda
lvcreate -l 100%VG -n iscsilv01 iscsivg01
mkfs.xfs /dev/mapper/iscsivg01-iscsilv01
mount /dev/mapper/iscsivg01-iscsilv01 /mnt

7 iSCSI性能测试

image.png
image.png
image.png
image.png

8 性能对比

项目NVMe over iSCSI TCP/IPNVMe over Soft-RoCE RDMA趋势
顺序写MB/s18469.2↓ 61.72%
顺序写IOPS22.4k8450↓ 62.28%
顺序读MB/s42.556↑ 31.76%
顺序读IOPS51866954↑ 34.09%
随机写MB/s52.570.6↑ 34.48%
随机写IOPS64038621↑ 34.64%
随机读MB/s43.454↑ 24.42%
随机读IOPS53016708↑ 26.54%

这里可以看到,除了在顺序写场景下出现性能下降(不知道为啥,可能是因为硬件条件和虚拟化的原因),但是使用RDMA在其余场景下都能带来24%以上的性能提升。在生产环境使用合适的硬件并优化配置,对网络环境的提升是十分可观的。

总结

虽然在本期测试结果中出现了一些意外,但是整体来看,使用RDMA还是可以显著提升网络性能的。
老规矩,知道写了些啥。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1053852.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Petalinux 制作ZYNQ镜像文件流程

1概述 在Zynq-7000 SoC中搭建运行Linux&#xff0c;嵌入式软件栈。 处理器系统引导是一个分两个阶段的过程。第一个阶段是一个内部 BootROM&#xff0c;它存储 stage-0 的引导代码。BootROM 在 CPU 0 上执行&#xff0c;CPU 1 执行等待事件&#xff08;WFE&#xff09;指令。…

【全开源】宇鹿家政系统(FastAdmin+ThinkPHP+原生微信小程序)

&#xff1a;助力家政行业数字化升级 一、引言&#xff1a;家政服务的新篇章 随着移动互联网的普及和人们生活水平的提高&#xff0c;家政服务的需求日益增长。为了满足这一市场需求&#xff0c;并推动家政行业的数字化升级&#xff0c;我们特别推出了家政小程序系统源码。这…

这款信创FTP软件,可实现安全稳定的文件传输

信创&#xff0c;即信息技术应用创新&#xff0c;2018年以来&#xff0c;受“华为、中兴事件”影响&#xff0c;国家将信创产业纳入国家战略&#xff0c;并提出了“28n”发展体系。“8”具体指金融、石油、电力、电信、交通、航空航天、医院、教育等主要行业。目前企业使用比较…

代码随想录——左叶子之和(Leetcode404)

题目链接 BFS 队列 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, TreeNode left, TreeNode right)…

python mp3转mp4工具

成品UI 安装moviepy库 pip install moviepy 转换demo from moviepy.editor import *# 创建一个颜色剪辑&#xff0c;时长与音频相同 audioclip AudioFileClip(r"C:\Users\Administrator\PycharmProjects\pythonProject44\test4\赵照 - 灯塔守望人.mp3") videoclip…

联邦和反射器实验

拓扑图 一.实验要求 1.AS1存在两个环回&#xff0c;一个地址为192.168.1.0/24&#xff0c;该地址不能在任何协议中宣告 AS3存在两个环回&#xff0c;一个地址为192.168.2.0/24&#xff0c;该地址不能在任何协议中宣告 AS1还有一个环回地址为10.1.1.0/24&#xff…

区块链系统开发测试----链码部署开发、系统开发验证

一.检查配置环境 检查虚拟机环境&#xff0c;确保有正在运行的Hyperledger Fabric区块链&#xff0c;并且其中chaincode_basic、credit_chaincode链码可以正常调用 查看chaincode_basic、credit_chaincode链码调用 二.开发征信链码代码 基于现有征信链码&#xff0c;开发征信…

2024提升数字思维能力加快企业数字化转型(74页PPT)

方案介绍&#xff1a; 本报告的价值在于为企业提供了一套系统的提升数字思维能力、加快数字化转型的理论框架和实践指南。通过本报告的学习和应用&#xff0c;企业可以更加清晰地认识到数字化转型的重要性和紧迫性&#xff0c;明确自身在数字化转型中的优势和不足&#xff0c;并…

ROS2 Topics和Services

本文主要介绍ROS的Topics概念&#xff0c;如何创建Publisher和Subscriber&#xff0c;通过Topic在ROS程序间通信&#xff1b;介绍ROS的Services概念&#xff0c;如何创建Client和Server并建立通信。 更多内容&#xff0c;访问专栏目录获取实时更新。 ROS Topics Topics可以被视…

SpringJDBC

1.前言 Spring JDBC可以帮助开发者节省大量开发工作 自动去处理一些低级细节 比如&#xff1a;异常处理、打开和关闭资源(Connection、PreparedStatement、Statement、ResultSet) 需要下载的jar包&#xff1a; spring-jdbc(普通jar包、源码jar包)由于没有依赖其他的jar包 所以只…

vite+js配置

vite js 配置路径 npm install types/node --save-dev vite.config.js import { defineConfig } from vite import vue from vitejs/plugin-vue //需要引入 import path from path// https://vitejs.dev/config/ export default defineConfig({plugins: [vue()],resolve: {a…

WORD、PPT技巧

WORD技巧 编辑设置 word标题导航窗口怎么调出word2016&#xff0c;缩小了页面&#xff0c;可是怎么是竖着的一页一页排列啊&#xff1f;以前不是好几页横排着的么&#xff1f;怎么设置&#xff0c;求救&#xff1a;在Word标题栏那一行找到“视图”&#xff0c;点击“显示比例…

【算法】位运算算法——两整数之和

题解&#xff1a;两整数之和(位运算算法) 目录 1.题目2.位运算算法3.参考代码4.总结 1.题目 题目链接&#xff1a;LINK 2.位运算算法 这个题目难点就在于不能用、- 那什么能够代替加号呢&#xff1f; 既然数的层面不能用号&#xff0c;那二进制的角度去用号即可。 恰好&a…

FPGA——eMMC验证

一.FPGA基础 1.FPGA烧录流程 (1) 加载流文件 —— bitfile (2) 烧录文件 —— cmm 二.MMC 1.基础知识 (1)jz4740、mmc、emmc、sd之间的关系&#xff1f; jz4740——处理器 mmc——存储卡标准 emmc——mmc基础上发展的高效存储解决方案 sd—— 三.eMMC和SD case验证 1.ca…

MySQL数据表的“增删查改“

我们学习数据库, 最重要的就是要学会对数据表表进行"增删查改"(CRUD).(C -- create, R -- retrieve, U -- update, D -- delete) 目录 一. "增"(create) 1. 普通新增 2. 指定列新增 3. 一次插入多行 4. 用insert插入时间 5. 小结 二. "查"…

LuatOS学习

开发顺序 Lua是脚本语言中运行速度最快的语言 资源占用极低 脚本语言运行方式 脚本语言是从上往下一行一行运行的 变量 coun 123456 a,b,c 1,2,3交换 a,b b,a在测试环境中&#xff0c;用print(a,b)打印 nil类型 未声明的变量就是nil&#xff0c;nil用来表示此变量为空…

使用uniapp编写的微信小程序进行分包

简介&#xff1a; 由于小程序发布的时候每个包最多只能放置2MB的东西&#xff0c;所以把所有的代码资源都放置在一个主包当中不显示&#xff0c;所以就需要进行合理分包&#xff0c;&#xff0c;但是分包后整个小程序最终不能超过20MB。 一般情况下&#xff0c;我习惯将tabba…

ubuntu使用oh my zsh美化终端

ubuntu使用oh my zsh美化终端 文章目录 ubuntu使用oh my zsh美化终端1. 安装zsh和oh my zsh2. 修改zsh主题3. 安装zsh插件4. 将.bashrc移植到.zshrcReference 1. 安装zsh和oh my zsh 首先安装zsh sudo apt install zsh然后查看本地有哪些shell可以使用 cat /etc/shells 将默…

通过el-tree自定义渲染网页版工作目录,实现鼠标悬浮显示完整名称、用icon区分文件和文件夹等需求

目录 一、通过el-tree自定义渲染网页版工作目录 1.1、需求介绍 1.2、使用el-tree生成文档目录 1.2.1、官方基础用法 ①效果 ②代码&#xff1a; 1.2.2、自定义文档目录&#xff08;实现鼠标悬浮显示完整名称、用icon区分文件和文件夹&#xff09; ①效果&#xff08;直接效…