redis-集群 原生部署和工具自动部署

news/2024/4/13 11:53:01/文章来源:https://blog.csdn.net/2302_77503226/article/details/136539832

  • 什么redis集群?

    • redis集群是一个提供在多个redis节点之间共享数据的程序集。它并不像redis主从复制模式那样仅提供一个master节点来提供写服务,而是会提供多个master节点来提供写服务,每个master节点中存储的数据都不一样,这些数据通过数据分片的方式被自动分割到不同的master节点上
  • redis集群介绍:

    • Redis Cluster 是redis的分布式解决方案,当遇到单机、内存、流量等瓶颈时,可以采用cluster架构方式达到负载均衡的目的
  • 数据分布:

    • 分布式数据库首先要解决吧整个数据库集按照分区规则映射到多个节点的问题,即把数据集划分到多个节点上,每个节点负责整体数据的一个子集,需要关注的是数据分片规则,Rredis Cluster采用哈希分片规则。
  • 集群节点之间的通讯方式:

    • 节点之间通过建立TCP连接,使用gossip协议来传播集群的信息。端口为:服务端口+10000
  • Redis Cluster部署的两种方式:

    • 原生安装与官方工具安装

    • 原生安装的步骤:

      • 1.手动配置节点发现
      • 2.meet操作(通知新节点加入)
      • 3.指派槽位
      • 4.分主从
    • 官方工具安装:

      • 如果redis版本为3打头需要手动安装redis-trib.rb工具,新版本无需安装
  • 本章实验环境如下:

    • 环境介绍:

      • 为了使整个集群变得高可用性,我们给每台服务器上开了两个实例 一个为master一个为slave,当master节点故障,则会自动使用slave升级为master节点。
      • 如何知道集群中某个节点故障了呢?
        • 他们之间的通讯方式:每个节点都使用tcp协议相互通讯交流,当某个master出现故障时,所有节点都会知道这个出现故障的master,这时集群会自动把故障下面的salve升级为master
    • 实验操作:

      • 原生安装:

      • 1.三台服务器上部署redis服务:
        • redis1:创建数据目录和安装目录:
          • mkdir -p /opt/redis_cluster/redis_{6380,6381}/{conf,logs,pid}
          • mkdir -p /data/redis_cluster/redis_{6380,6381}
        • 解压安装包到/opt/redis_cluster目录下:
          • tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
          • cd /opt/redis_cluster/
          • ln -s redis-5.0.7 redis
          • cd redis
          • make && make install
        • 编辑配置文件:
          • 配置文件解释:

          • cat >/opt/redis_cluster/redis_6380/conf/redis_6380.conf<<EOF
            bind 192.168.8.5
            port 6380
            daemonize yes
            pidfile "/opt/redis_cluster/redis_6380/pid/redis_6380.pid"
            logfile "/opt/redis_cluster/redis_6380/logs/redis_6380.log"
            dbfilename "redis_6380.rdb"
            dir "/data/redis_cluster/redis_6380/"
            cluster-enabled yes
            cluster-config-file nodes_6380.conf
            cluster-node-timeout 15000
            EOF
            cd /opt/redis_cluster/
            cp redis_6380/conf/redis_6380.conf redis_6381/conf/redis_6381.conf
            sed -i 's#6380#6381#g' redis_6381/conf/redis_6381.conf 
            redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
            redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf
            

        • 将redis1服务器的安装目录和数据目录,远程复制到redis2、redis3服务器上:
          • scp -rp /opt/* root@192.168.8.6:/opt
          • scp -rp /opt/* root@192.168.8.7:/opt
        • redis2 操作:
          • cd /opt/redis_cluster/redis
            make install 
            find /opt/redis_cluster/redis_638* -type f -name "*.conf"|xargs sed -i "s#5#6#g"
            mkdir -p /data/redis_cluster/redis_{6380,6381}
            redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
            redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf
            

        • redis3 操作:
          • cd /opt/redis_cluster/redis
            make install
            find /opt/redis_cluster/redis_638* -type f -name "*.conf"|xargs sed -i "s#5#7#g"
            mkdir -p /data/redis_cluster/redis_{6380,6381}
            redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
            redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf
            

        • 查看8.6-7服务器上是否有6380和6381端口:
          • netstat -anpt | grep 638
        • 至此每台服务器上出现此端口,代表三台redis部署启动成功。
      • 开始创建群集:

        • 1.手动配置节点发现:
          • 登录任意一台服务器的redis节点:
            • redis-cli -h 192.168.8.5 -p 6380
            • 登录8.5的6380redis实例后,开始发现其他五个节点:
              • 使用节点发现命令,发现其他五个节点(登录数据库后执行):
                • CLUSTER MEET 192.168.8.5 6381
                  CLUSTER MEET 192.168.8.6 6380
                  CLUSTER MEET 192.168.8.7 6380
                  CLUSTER MEET 192.168.8.6 6381
                  CLUSTER MEET 192.168.8.7 6381
                  

            • 查看集群信息:
              • CLUSTER NODES
            • Redis Cluster 通讯流程:
              • 1)集群中的每一个节点都会单独开辟一个 Tcp 通道,用于节点之间彼此通信,防火墙放行(端口号+10000).
              • 2)每个节点在固定周期内通过特定规则选择结构节点发送 ping 消息
              • 3)接收到 ping 消息的节点用 pong 消息作为响应。集群中每个节点通过一定规则挑选要通信的节点,每个节点可能知道全部节点,也可能仅知道部分节点,
              • 只要这些节点彼此可以正常通信,最终他们会打成一致的状态,当节点出现故障,新节点加入,主从角色变化等,它能够给不断的ping/pong消息,从而达到同步目的。
            • Redis Cluster手动分配槽位:
              • 现在节点之间已经互相发现了,但是此时集群还是不可用的状态,因为并没有给节点分配槽位,而且必须是所有的槽位都分配完毕后整个集群才是可用的状态。
              • 我们虽然是有6个节点,但是真正写入数据的只有三个节点,其他三个节点只是作为主节点的从节点,只需要分配这其中三个主节点的槽位就可以了
              • 分别登录到每个主节点的客户端来执行命令:
                • 在数据库外执行:
                  • redis-cli -h 192.168.8.5 -p 6380 cluster addslots {0..5460}
                    redis-cli -h 192.168.8.6 -p 6380 cluster addslots {5461..10922}
                    redis-cli -h 192.168.8.7 -p 6380 cluster addslots {10923..16383}
                    

              • 再次查看集群信息:
                • 可以看到后面有了刚才分配的槽位,群集状态也是ok的。

            • 手动配置集群高可用:
              • 虽然这时候集群是可以用得了,但是整个集群只要有一台机器坏掉了,那么整个集群都是不可用的。
              • 这时候就需要将另外三个没有槽位的三个节点分别作为现在三个有槽位的主节点的从节点,这样就可以应对集群主节点故障时可以进行自动切换,以保证整个集群的高可用性。
              • 在任意一台redis服务器上远程操作集群其他节点
                • 注意:需要执行命令的是每个服务器的从节点
                  • 注意主从的ID不要搞混了
                  • 主从节点不要在一台服务器上,要交叉分主从
                • redis-cli -h 192.168.8.5 -p 6381 CLUSTER REPLICATE 49cbd0227229494070be11e3bc2a4a383f8d535e  (第二台主机6380的id)id号查看自己的id号
                  redis-cli -h 192.168.8.6 -p 6381 CLUSTER REPLICATE c9f13f78e29245ca993ea635ab27a3e260c6a210(第三台主机6380的id)
                  redis-cli -h 192.168.8.7 -p 6381 CLUSTER REPLICATE 6bb3f91ff8da948fc07d25445992e2161ed741f4	(第一台主机6380的id)
                  

              • 再次查看群集信息:
                • 发现每台主机的6381端口节点,都变成了slave状态(从服务器)

                • 此时手动搭建群集以部署完毕,测试是否可以正常存储数据!!
              • Redis Cluster测试集群:
                • 此时我们使用常规插入redis数据的方式往集群里写数据看看会发生什么
                • redis-cli -h 192.168.8.5 -p 6380 set k1 v1
                • 并没有插入数据到数据库中,这是因为集群后由于数据被分片了,所以并不是说在那台机器上写入数据就会在那台机器的节点上写入。
                • 集群的数据写入和读取就要涉及到另外一个概念,ASK路由。
                • Redis Cluster ASK路由介绍:
                  • 在集群模式下,redis接受任何键相关命令是首选会计算键对应的槽(slot),再根据槽找出所对应的节点,如果节点是自身,则处理键命令;
                  • 否则恢复MOVED重定向错误,通知客户端请求正确的节点,这个过程称为MOVER重定向。
                  • redis-cli客户端提供了-c参数实现自动重定向。
                • 插入数据:redis-cli -c -h 192.168.8.5 -p 6380 set k1 v1
                • 写入后同样需要使用-c选项来读取键值:
                • 读取数据:redis-cli -c -h 192.168.8.5 -p 6380 get k1
              • Redis Cluster模拟故障转移
                • 模拟redis2故障:
                  • redis-cli -h 192.168.8.6 -p 6380 shutdown
                  • redis-cli -h 192.168.8.6 -p 6381 shutdown
                • 查看群集节点状态:
                  • redis-cli -h 192.168.8.5 -p 6380
                    • cluster nodes
                  • 关闭8.6的6380主节点后,8.5的6381从节点自动又主节点切换回了主节点

                • 再次将8.6服务器上的两个节点启动起来:
                  • redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
                  • redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf
                • 查看群集节点状态:
                  • 8.5的6381切换回了slave。
      • 使用工具自动搭建部署Redis Cluster集群

        • 实验环境还是6个节点与原生安装一样:
          • 部署redis节点过程略与上方一样
        • 开始部署群集:
          • 无需安装redis-trib.rb工具(新版本无需安装),节点部署好后直接创建集群
          • 创建群集:
          • redis-cli --cluster create --cluster-replicas 1 192.168.8.5:6380 192.168.8.6:6380 192.168.8.7:6380 192.168.8.5:6381 192.168.8.6:6381 192.168.8.7:6381
            • (前面三个自动被分配为master,后三个自动被分配为slave)
            • 直接yes即可
          • 检查完整性:redis-cli --cluster check 192.168.8.5:6380
            • 槽位也被自动分配了

          • 当我们节点不够用时,使用redis集群扩容:
            • 1)准备新节点
            • 2)加入集群
            • 3)迁移槽和数据
          • 为了省资源,我们在redis1服务器上再创建两个新节点
            • mkdir -p /opt/redis_cluster/redis_{6390,6391}/{conf,logs,pid}
            • mkdir -p /data/redis_cluster/redis_{6390,6391}
            • cd /opt/redis_cluster/
            • cp redis_6380/conf/redis_6380.conf redis_6390/conf/redis_6390.conf
            • cp redis_6380/conf/redis_6380.conf redis_6391/conf/redis_6391.conf
            • sed -i 's#6380#6390#g' redis_6390/conf/redis_6390.conf
            • sed -i 's#6380#6391#g' redis_6391/conf/redis_6391.conf
            • 启动节点
              • redis-server /opt/redis_cluster/redis_6390/conf/redis_6390.conf
              • redis-server /opt/redis_cluster/redis_6391/conf/redis_6391.conf
            • 发现节点:(将新建的两台节点)
              • redis-cli -c -h 192.168.8.5 -p 6380 cluster meet 192.168.8.5 6390
              • redis-cli -c -h 192.168.8.5 -p 6380 cluster meet 192.168.8.5 6391
            • 从之前的三台master节点服务器上向新的6390节点分配slots槽位
              • redis-cli --cluster reshard 192.168.8.5:6390
            • 将6391顺从于6390:
              • redis-cli -h 192.168.8.5 -p 6391 cluster replicate 6390id
            • 再次检查集群,发现6390有了槽位,6391 没有槽位也是slave
            • 扩展完之后,再将它们收缩:
              • 移除下线节点的槽位:
              • redis-cli --cluster reshard 192.168.8.5:6390
                • 这样重复三次,即可将槽位还回去
                  • 1365 给redis1的6380
                  • 1366 给redis2的6380
                  • 1365 给redis3的6380
              • 移除下线的节点:
                • redis-cli -c -h 192.168.8.5 -p 6380 cluster forget 6f2a812b88aa230e13fadabc1096304ddcbddc17(6390id)
                • redis-cli -c -h 192.168.8.5 -p 6380 cluster forget 547176fc5e7b7a3fb144ea1cb49dd48018d3ff3c(6391id)
          • 至此整章redis集群的原生部署和自动部署环境分别介绍完毕,感谢观看!!
  •  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_997209.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Claude 3正式发布,性能超越GPT-4,免费使用且支持中文!

Claude 3正式发布&#xff0c;性能超越GPT-4&#xff0c;免费使用且支持中文&#xff01; 前言评测展示Claude3功能对比指令遵循能力大幅度提升200K上下文窗口和近乎完美的记忆近乎即时的结果强大的视觉能力 后记 前言 在3月4日晚&#xff0c;著名的生成式AI平台Anthropic在其…

Django官网项目 二

官网地址&#xff1a;Writing your first Django app, part 2 | Django documentation | Django 创建模组&#xff1a; 注册model &#xff08;bug&#xff1a;没有加后面的逗号&#xff09; 在manage.py 的目录下&#xff1a; python manage.py makemigrations polls pyth…

2024【问题解决】Github 2024无法克隆git clone自从签了2F2安全协议之后

项目场景:ping通Github但没法clone–502 问题描述 提示:ping通Github但没法clone--502: 例如:git clone https://gitclone.com/l.git/*** $ git clone https://github.com/darrenpig/Yocto Cloning into Yocto_tutorial... fatal: unable to access https://gitclone.co…

Java开发从入门到精通(一):Java的基础语法高阶

Java大数据开发和安全开发 &#xff08;一)Java的流程控制1.1 分支语句1.1.1 IF分支语句第一种IF语句第二种IF-ELSE语句第三种IF-ELSE IF-ELSE语句if语句使用的几个常见问题 1.1.2 switch分支语句switch分支的执行流程switch分支的导学案例:电子备忘录if、switch的比较&#xf…

STM32(9)EXTI

EXTI工作原理 EXTI的寄存器组 每个寄存器都是20个比特位&#xff0c;对应EXTI的20路通道&#xff0c;如这6个寄存器的最左边就都是对应通道1的

开发利器——C语言必备实用第三方库

​ 对于广大C语言开发者来说&#xff0c;缺乏类似C STL和Boost的库会让开发受制于基础库的匮乏&#xff0c;也因此导致了开发效率的骤降。这也使得例如libevent这类事件库&#xff08;基础组件库&#xff09;一时间大红大紫。 今天&#xff0c;码哥给大家带来一款基础库&#…

云手机的境外舆情监控应用——助力品牌公关

在当今数字化时代&#xff0c;社交媒体已成为品牌传播和互动的主要平台。随之而来的是海量的信息涌入&#xff0c;品牌需要及时了解并应对海外社交媒体上的舆情变化。本文将介绍如何通过云手机进行境外舆情监控&#xff0c;更好地帮助企业公关及时作出决策。 1. 境外舆情监控与…

【C++庖丁解牛】默认成员函数

&#x1f4d9; 作者简介 &#xff1a;RO-BERRY &#x1f4d7; 学习方向&#xff1a;致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f4d2; 日后方向 : 偏向于CPP开发以及大数据方向&#xff0c;欢迎各位关注&#xff0c;谢谢各位的支持 目录 前言1. 构造函数1.1 …

onnx模型优化利器onnxoptimizer、onnxsim

ONNX性能优化和调试技巧 - 知乎ONNX模型是一种跨平台、跨框架的模型表示格式,允许用户在不同的深度学习框架之间共享模型和数据,从而加速模型开发和部署。然而,在实际应用中,我们通常需要对ONNX模型进行性能优化和调试,以确保其在不同硬件和…https://zhuanlan.zhihu.com/…

设计模式之访问者模式

访问者模式&#xff08;Visitor&#xff09; 定义 表示一个作用于某对象结构中的各元素的操作&#xff0c;它使你可以在不改变各元素类的前提下定义作用于这些元素的新操作。 使用场景 主要角色 元素&#xff08;Element&#xff09;具体元素&#xff08;ConcreteElement&…

工作中常用的六种设计模式

设计模式 设计理念 高内聚&#xff0c;低耦合。 设计原则 开闭原则 规定&#xff1a;软件中的对象&#xff08;类、模块、函数等等&#xff09;应该对于扩展是开放的&#xff0c;但是对于修改是封闭的。换句话说&#xff0c;一个实体是允许在不改变它的源代码的前提下变更它…

JavaWeb04-Request,Response

目录 一、Request&#xff08;请求&#xff09; 1.作用 2.继承体系 3.获取请求数据 &#xff08;1&#xff09;请求行 &#xff08;2&#xff09;请求头 &#xff08;3&#xff09;请求体&#xff08;POST&#xff09; &#xff08;5&#xff09;Request通用方式获取请求…

【C语言】linux内核napi_gro_receive和netif_napi_add

napi_gro_receive 一、注释 // napi_gro_receive是网络设备接口的一个函数&#xff0c;它被NAPI&#xff08;New API&#xff09;网络轮询机制使用&#xff0c;用于接收和处理接收到的数据包。 // 这个函数通过通用接收分组&#xff08;GRO&#xff0c;Generic Receive Offlo…

2024.3.7 FreeRTOS 作业

思维导图 练习题 1.使用ADC采样光敏电阻数值&#xff0c;如何根据这个数值调节LED灯亮度。 //打开定时器3的通道3&#xff0c;并且设置为PWM功能HAL_TIM_PWM_Start(&htim3, TIM_CHANNEL_3);/* USER CODE END 2 *//* Infinite loop *//* USER CODE BEGIN WHILE */while (1…

MES数据采集设备

在智能制造日益盛行的今天&#xff0c;MES&#xff08;制造执行系统&#xff09;作为连接计划与生产现场的关键环节&#xff0c;其重要性不言而喻。而MES数据采集设备则是MES系统的核心组件&#xff0c;负责实时、准确地获取生产现场的各种数据&#xff0c;为企业的生产决策提供…

three.js如何实现简易3D机房?(二)模型加载的过渡动画

接上一篇&#xff1a; three.js如何实现简易3D机房&#xff1f;&#xff08;一&#xff09;基础准备-下&#xff1a;http://t.csdnimg.cn/TTI1P 目录 六、自定义过渡动画 1.过渡动画组件 2.模型加载时使用 根据模型大小&#xff0c;可以自定义模型加载的过渡动画效果&am…

Django Web架构:全面掌握Django模型字段(下)

Django Web架构 全面掌握Django模型字段&#xff08;下&#xff09; - 文章信息 - Author: 李俊才 (jcLee95) Visit me at CSDN: https://jclee95.blog.csdn.netMy WebSite&#xff1a;http://thispage.tech/Email: 291148484163.com. Shenzhen ChinaAddress of this article…

item_fee-获得淘宝商品快递费用 API调用说明获取测试key

item_fee-获得淘宝商品快递费用 .通过传入商品id、区域id&#xff0c;来获取该商品的快递费用。 公共参数 点此获取API请求地址 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&a…

JavaScript基础4之原型的原型继承、原型链和理解对象的数据属性、访问器属性

JavaScript基础 原型原型继承问题解决 原型链isPrototypeOf()Object.getPrototypeOf() 理解对象数据属性访问器属性 原型 原型继承 继承是面向对象编程的另一个特征&#xff0c;通过继承进一步提升代码封装的程度&#xff0c;JavaScript中大多是借助原型对象实现继承的特性。…

按图搜索淘宝商品(拍立淘)

使用淘宝拍立淘接口的步骤通常包括&#xff1a; 注册成为淘宝开放平台的开发者&#xff1a;在淘宝开放平台网站上注册账号并完成认证。 创建应用以获取API密钥&#xff1a;在您的开发者控制台中创建一个应用&#xff0c;并获取用于API调用的密钥&#xff0c;如Client ID和Clie…