告别裸奔,聊聊主流消息队列的认证和鉴权!

news/2024/7/22 12:25:19/文章来源:https://blog.csdn.net/zjj2006/article/details/139280039

大家好,我是君哥。

我们在使用消息队列时,经常关注的是消息队列收发消息的功能。但好多时候需要对客户端有一定的限制,比如只有持有令牌的客户端才能访问集权,不允许 Producer 发送消息到某一个 Topic,或者某一个 Topic 只能给固定 Consumer 消费。

为了能对客户端有一定限制,需要对消息队列进行认证和鉴权,今天我们就来聊一聊主流消息队列是怎么做认证和鉴权的。

1 认证

认证是指通过一定手段,对访问用户身份进行校验,只有校验通过的用户,才允许访问。

默认情况下,主流消息队列是不开启认证的,这也意味着只要网络能通,客户端就可以访问 Broker 集群,可以说集群处于“裸奔”的状态,有很大的风险。

消息队列的认证,是指对客户端进行身份确认,只有认证通过的客户端才可以访问 Broker 集群资源。

常见的认证的方式有很多,主流消息队列一般会定义一个认证框架来制定认证规则,然后通过实现这个框架来定义具体认证方式。

1.1 SSL/TLS

SSL(Secure Sockets Layer)是为网络通信提供安全及数据完整性的一种安全协议,消息队列基于 SSL 的认证是指 Broker 和客户端的认证,可以是单向认证,也可以是双向认证。

消息队列为了提升吞吐量,降低延迟,一般都是基于 TCP/IP 协议构建的,SSL 协议位于应用层和传输层之间。

图片

使用 SSL 进行通信前,客户端和 Broker 都需要引入各自的证书,并且引入对应编程语言的 SSL 库。通信时,客户端携带对应的证书和公钥信息,与 Broker 建立连接,Broker 则对客户端进行认证,认证成功后,客户端才能进行下一步操作。

Kafka 在早期的 0.9 版本引入了 SSL。

SSL3.0 版本后改名成 TLS,TLS 是 SSL 的升级版本。Pulsar 和 RabbitMQ 这 2 个消息队列支持 TLS。

1.2 SASL

SASL 全称是 Simple Authentication and Security Laye,是一种标准化的 C/S 身份认证协议,客户端和服务器基于这个协议交换身份信息,验证成功后才可以建立连接。

SASL 其实是一中认证框架,基于这个框架我们可以实现多种认证机制,比如用户名密码、Kerberos、NTLM、OAuth等。

Kafka 0.9.0.0 版本开始支持 SASL,并且基于 SASL 实现了多种认证插件。如下图:

图片

  • GSSAPI 是用来支持 Kerberos 协议的,如果公司已经做过 Kerberos 认证,那使用 GSSAPI 会非常方便。

  • PLAIN 是一种使用用户名密码的认证机制,可以跟 SSL 搭配使用,更加适合小公司的 Kafka 集群使用。PLAIN 有一个很大的缺点就是增加或删除用户,需要重启 Broker 集群才能生效,因为认证用户保存在静态文件中,Broker 集群不能动态加载。

  • SCRAM 将认证用户保存在 ZooKeeper,解决了 PLAIN 增加或删除用户需要重启集群的问题。

  • OAUTHBEARER 是 Kafka 在 2.0 版本引入的,主要是为了实现 OAuth2 认证机制。

  • Delegation Token 是 SASL 机制的补充,它是基于 Token 的一种认证机制,它的特点是非常轻量级,用户获取到一次 Token 之后,后面的请求过程中可以继续使用这个 Token(除了 Token 更新),无须再次获取。

1.3 AK/SK

RocketMQ 基于 AK/SK 实现认证方式,通过对称加密来验证客户端身份,保证认证密码不会以明文在网络上传输,提升认证安全。

客户端发送请求时,使用加密算法对请求参数进行加密,然后生成数字签名,在请求中发送用户名和签名信息。Broker 收到请求后,首先查询用户名是否在本地库(不存在则认证失败),如果存在,则用相同的算法对请求进行加密和签名,然后比较签名结果跟客户端请求中的签名信息是否一致。

1.4 自定义框架

RabbitMQ 和 Pulsar 都提供了自定义、可插拔的身份认证框架,然后基于框架的接口来实现各种认证插件,在配置文件中指定要使用的认证插件。

Pulsar 内置的认证插件包括 JWT、OAuth2.0、Athenz、Kerberos 等。

RabbitMQ 实现的认证插件包括 AMQPLAIN 和 PLAIN。

总结:认证框架的选择很多,Kafka 选择的 SASL 机制更加完善,功能更加强大,实现起来也更加复杂。而自定义的机制则实现更加简单,同时也能满足消息队列的认证需求。

下面对主流消息队列使用的认证方式总结如下:

消息队列认证方式
KafkaSASL:GSSAPI、PLAIN、SCRAM、OAUTHBEARER、Delegation Token
RocketMQAK/SK
RabbitMQAMQPLAIN、PLAIN
PulsarJWT、OAuth2.0、Athenz、Kerberos

2 鉴权

客户端通过认证后,就跟 Broker 建立了连接,但是并不是每个客户端都可以操作所有的集群资源,比如银行里面的不同业务数据不能给所有客户端访问。这就需要对客户端做资源访问限制。

授权是指对客户端赋予一定的权限,比如允许客户端从某一个 Topic 拉取消息。

消息队列对于资源的操作分为两种,一种是运维相关操作,比如创建 Topic、创建用户等,权限一般分配给运维人员。另一种是数据相关操作,包括生产消费消息,权限一般分配给业务系统客户端。

要实现资源控制,一般分成两种方式,下面详细介绍一下。

2.1 链路分开

如果分开两条链路来操作集群资源,一条链路由运维人员来通过 HTTP 来操作集群资源,另一条链路由业务系统客户端通过 TCP 来收发消息,这样实现权限控制就非常容易,成本很低。

图片

主流消息队列 Pulsar 和 RabbitMQ 就是这种方式实现的。

这种方式也有一个问题,就是集群中需要开启两个 Server 来服务两个链路。

2.2 一条链路

跟两条链路相对应的是,运维操作和业务客户端操作都通过一条链路来实现。

图片

一条链路的方式集群不用启动两个 Server,但是需要根据用户来分配权限,需要在代码层面实现集群的资源控制,实现难度较大。主流消息队列中的 Kafka 和 RocketMQ 就是用的这种方式。

2.3 访问控制

无论是两条链路还是一条链路,都无法细粒度地控制集群资源。比如运维操作要限制某个用户只能添加 Topic 而不能删除 Topic,业务系统客户端只被允许从某一个 Topic 发送和消费消息。

想要细粒度的控制集群资源,就需要引入鉴权模型,常见的鉴权模型如下:

  • ACL:Access Control List,也就是访问控制列表,特点是直接把用户和权限关联起来。

  • RBAC:Role Based Access Control,基于角色的权限控制,特点是引入了角色的概念,先将资源权限分配给角色,再把角色分配给用户。

  • ABAC:Attribute Based Access Control,基于属性的权限控制,是一种动态授权策略,他把用户要访问的资源跟资源的属性、环境因素结合起来,比如对一个资源的访问限制到时间级别。

  • PBAC:Policy Based Access Control,基于策略的权限控制,可以基于任务或事件等其他不同的场景灵活配置访问权限。

2.4 ACL

主流的消息队列都是基于 ACL 来实现鉴权的。要实现 ACL(Access Control List) ,首先需要定义好集群中有哪些资源或哪些操作需要做鉴权。

主流消息队列中,Kafka 的资源或操作定义非常细致,资源包括:Topic、消费者组、Broker 集群等,操作则包括:读、写、创建、删除、修改、订阅等。Kafka 对资源的操作定义成不同接口(比如创建 Topic),通过接口来做鉴权控制。见官网 KIP-11  下面链接。

https://cwiki.apache.org/confluence/display/KAFKA/KIP-11+-+Authorization+Interface

图片

Kafka 实现了可插拔的授权机制,该机制把所有 ACL 项保存在 ZooKeeper,Zookeeper 创建 /kafka-acl 节点进行保存。Kafka 提供了 kafka-acls 脚本,可以动态修改 ACL 配置项,并且可以立即生效。在 server.properties 中加入下面配置,就可以开启 ACL 鉴权:

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

其中 SimpleAclAuthorizer 是 Kafka 自带的鉴权实现类,这里也可以配置自定义的鉴权实现类。

RabbitMQ 的架构相对简单,定义的资源主要包括:Exchange、Queue 等,操作则包括读、写、配置。因为 RabbitMQ 的集群配置是通过 HTTP API 操作,所以并没有提供接口维度的权限控制。

Pulsar 的鉴权包括生产、消费、Lookup、Function、Source(从数据源读取数据)、Sink(数据存入下游)、Packages(保存用户代码包)。鉴权信息保存在 Zookeeper 的 /admin/policies/[namespace] 目录下。Pulsar 也支持可插拔的授权框架,默认实现类是 PulsarAuthorizationProvider。

RocketMQ 中的 ACL 提供了 Topic 资源级别的用户访问控制。用户在使用 RocketMQ 权限控制时,可以在 Client 客户端通过 RPCHook 注入 AccessKey 和 SecretKey 签名,同时将对应的权限控制属性(包括 Topic 访问权限、IP 白名单和 AccessKey 和 SecretKey 签名等)设置在 distribution/conf/plain_acl.yml 的配置文件中。

RocketMQ 对 Topic 资源访问权限控制定义了四种,下面表格来自官网 ,

https://rocketmq.apache.org/zh/docs/4.x/bestPractice/04access/

权限含义
DENY拒绝
ANYPUB 或者 SUB 权限
PUB发送权限
SUB订阅权限

权限定义的关键属性参考 distribution/conf/plain_acl.yml 配置文件。

RocketMQ 的用户分为普通用户和管理员用户,跟普通用户相比,管理员用户具有更新或创建主题、更新 Broker 配置、删除主题、更新或创建订阅组信息、删除订阅组信息等权限。

2.5 超级用户

消息队列的超级用户能够访问集群中所有的资源,对集群运维非常方便。比如分配出去的用户密码被恶意修改了,集群无法访问,这时超级用户可以把密码再改回来。超级用户可以让运维人员方便地执行紧急性、临时性地操作。

超级用户一般固定在配置文件中,客户端对集群进行访问控制的时候,集群对用户是否是超级用户进行判断。

Kafka 和 Pulsar 都有超级用户的机制,RabbitMQ 则没有超级用户。

3 总结

默认情况下,主流消息队列都是不开启认证和鉴权的。但在复杂的业务架构中,为了保证队列中数据安全性,必须开启认证和鉴权。消息队列的认证机制有很多,鉴权则主要是通过 ACL 来实现。希望本文能对你理解消息队列的认证和鉴权有所帮助。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1053683.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习300问】103、简单的经典卷积神经网络结构设计成什么样?以LeNet-5为例说明。

一个简单的经典CNN网络结构由:输入层、卷积层、池化层、全连接层和输出层,这五种神经网络层结构组成。它最最经典的实例是LeNet-5,它最早被设计用于手写数字识别任务,包含两个卷积层、两个池化层、几个全连接层,以及最…

软件功能测试的类型和流程分享

在现代社会,软件已经成为人们生活中不可或缺的一部分,而在软件的开发过程中,功能测试是不可或缺的环节。软件功能测试指的是对软件系统的功能进行检查和验证,以确保软件在各种情况下能够正常运行,并且能够按照用户需求…

《Java数据结构》--单链表详解

一.单链表的概念 1.概念 单链表是一种物理存储结构是非连续,非线性的但是在逻辑结构上是连续且线性的,链表是通过一个个结点来实现的,使每个相邻结点之间存在一定关系来将所有结点串起来,在物理存储上像是一条链子。 2.链表的原…

【数据分析】Numpy和Pandas库基本用法及实例--基于Japyter notebook实现

各位大佬好 ,这里是阿川的博客 , 祝您变得更强 个人主页:在线OJ的阿川 大佬的支持和鼓励,将是我成长路上最大的动力 阿川水平有限,如有错误,欢迎大佬指正 承接上篇的博客 数据分析—技术栈和开发环境搭…

工作纪实50-Idea下载项目乱码

下载了公司的一份项目代码,发现是gbk格式的,但是我的日常习惯又是utf-8,下载项目以后全是乱码,一脸懵 借用网友的一张图,如果是一个一个文件这么搞,真的是费劲,好几百个文件! 步骤…

React@16.x(11)ref

目录 1,介绍1.1,得到的结果 2,参数类型2.1,字符串(不再推荐)2.2,对象2.3,函数函数调用时机 3,注意点 1,介绍 reference 引用。和 vue 中的 refs 类似&#x…

rk3568_mutex

文章目录 前言1、什么是mutex?1.1mutex互斥体API函数二、实验2.1实验目的2.2源码2.3结果图前言 本文记录的是rk3568开发板基础上做的mutex实验 1、什么是mutex? mutex是互斥体,它是比信号量semaphore更加专业的机制。 在我们编写Linux驱动的时候遇到需要互斥的地方建议使用…

TypeScript系列之-- 数组和元组类型

数组的定义&#xff1a; 第一种&#xff0c;可以在元素类型后面接上[] let list: number[] [1, 2, 3]; 第二种方式是使用数组泛型&#xff0c;Array<元素类型> let list: Array<number> [1, 2, 3]; 如果数组想每一项放入不同数据怎么办&#xff1f;用元组类型…

UE5 双手握剑的实现(逆向运动学IK)

UE5 双手握剑的实现 IK 前言 什么是IK&#xff1f; UE官方给我们提供了很多对于IK处理的节点&#xff0c;比如ABRIK、Two Bone IK、Full Body IK 、CCD IK等&#xff0c;但是看到这&#xff0c;很多人就好奇了&#xff0c;什么是IK&#xff1f; 首先我们来看看虚幻小白人的骨…

leetcode-主持人调度(二)-110

题目要求 思路 1.先将开始时间和结束时间拆分放到两个数组中进行排序 2.如果开始的时间小于结束时间&#xff0c;说明目前没有空闲的人&#xff0c;需要增加人&#xff0c;如果大于等于&#xff0c;说明有人刚结束了主持&#xff0c;可以进行新的主持了&#xff0c;变更到下一…

Java实现对PDF、纵向、横向页面添加自定义水印功能

Java实现对PDF、纵向、横向页面添加自定义水印 效果图 -- 纵向 页面PDF使用到JAR Maven依赖版本效果图 -- 横向页面PDF 效果图 – 纵向 页面PDF 代码如下&#xff1a; 使用到JAR Maven依赖版本 <dependency><groupId>org.apache.pdfbox</groupId><artifa…

2024.05.28学习记录

1. 小林coding 计网复习 2.代码随想录刷题. 图论.和复习数组.链表 3.rosebush完成select组件

BLE蓝牙模块在车联网中的智能开锁、数据监控应用

随着科技的不断发展&#xff0c;车联网已经成为了汽车行业的一个热门话题。在这个领域中&#xff0c;BLE蓝牙模块发挥着重要的作用&#xff0c;特别是在智能开锁和数据监控方面的应用。本文将详细介绍BLE蓝牙模块在这两个方面的应用及其优势。   一、智能开锁   1.车辆远程…

安卓开发--安卓使用Echatrs绘制折线图

安卓开发--安卓使用Echatrs绘制折线图 前期资料安卓使用Echarts绘制折线图1.1 下载 Echarts 安卓资源1.2 新建assets文件1.3 新建布局文件1.4 在布局文件中布局WebView1.5 在活动文件中调用 最终效果 前期资料 Echarts 官网样式预览: https://echarts.apache.org/examples/zh/…

MySQL中视图是什么,有什么作用

目录 一、视图的简介 1.1 什么是视图&#xff1f; 1.2 为什么使用视图&#xff1f; 1.3 视图有哪些规则与限制&#xff1f; 1.4 视图能否更新&#xff1f; 二、视图的创建 三、视图的作用 3.1 用视图简化复杂的联结 3.2 用视图格式化检索出的数据 3.3 用视图过滤数据…

实现echarts多图联动效果

实现echarts多图联动效果 文章目录 实现echarts多图联动效果业务场景实现关键api代码示例&#xff08;vue&#xff09; 业务场景 提示&#xff1a;主要是记录一下多个echarts联动效果实现方案 这本来就是echarts本身自带的api&#xff0c;并没有多高级&#xff0c;奈何寻找的过…

关于MySQL特殊储存引擎的介绍

目录 ——什么是储存引擎&#xff1f; ——关于表的储存引擎查询和建表语句 ---查询建表引擎语句 ---查询当前数据库支持的储存引擎 ---指定建表的储存引擎 ——关于特殊储存引擎的介绍 ---INNODB 特点&#xff1a; 关于INNDB的文件&#xff1a; 逻辑储存结构 ---MyI…

利用cherry pick巧妙地将某次提交单独合并到其他分支

0. 引言 最近在进行系统的多版本并行开发&#xff0c;涉及一些共有基础功能提交时就遇到了麻烦&#xff0c;一份代码需要向多个版本分支进行同步&#xff0c;以保证多版本都能有更新该基础功能。 多次对比提交的方式显然会带来巨大的工作量。但实际上我们可以通过git的cherry…

ES 查询踩坑-全字段匹配

需求&#xff1a;name字段需要全匹配查询 name的映射 普通的must查询 GET power_engin/_search {"from": 0,"size": 10,"query": {"bool": {"must": [{"term": {"name": {"value": "尼…

Java时间类--JDK8

为什么JDK8会又新增时间相关类呢&#xff1f; ① JDK7的时间对象如果需要比较大小的话&#xff0c;必须都先转换成毫秒值&#xff1b;JDK8则不需要&#xff0c;可以直接比较。 ② JDK7的时间对象可以修改&#xff0c;在多线程环境下就会导致数据不安全&#xff1b;JDK8不能修改…