confluent-kafka 模块生产数据消费数据

news/2024/4/15 5:31:36/文章来源:https://blog.csdn.net/weixin_42467874/article/details/136527985

confluent-kafka 模块生产数据消费数据

本文介绍如何使用Confluent-Kafka-Python实现Kafka生产数据消费数据。

前言

kafka是一个开源的流处理平台,一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

confluent-kafka 是什么

confluent-kafka是Python模块,推荐使用,性能优于kafka-python
参考文档:https://docs.confluent.io/current/clients/confluent-kafka-python/index.html

confluent_kafka-python地址
https://github.com/confluentinc/confluent-kafka-python

① 拉取confluent_kafka提供的生产者消费者用例,用例在example中。

git clone https://github.com/confluentinc/confluent-kafka-python.git

② 安装python3

③ 安装confluent_kafka

python3 -m pip install confluent_kafka

④ kafka地址

127.0.0.1:9092

⑤ 测试执行producer.py生产数据,kafka地址为127.0.0.1.197:9092,topic为topic_test1

python producer.py 127.0.0.1.197:9092 topic_test1

⑥ 输入任意数据内容。

test_message1
test_message2
test_message3
test_message4
test_message5

⑦ 消费数据

python consumer.py 127.0.0.1:9092 group topic_test1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_997566.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php常见的45个漏洞及解决方案

[TOC](太多了,目录只列出最重要的几个,剩下的同学们自己翻) PHP作为一种广泛应用的服务器端脚本语言,在历史上曾曝出过多种安全漏洞。以下是一些PHP漏洞的类别及其简要解释,以及如何解决这些问题&#xff1…

vue+nodejs超市购物商城在线选品系统wtk87

在此基础上,结合现有超市货品信息管理体系的特点,运用新技术,构建了以 vue为基础的超市货品信息管理信息化管理体系。首先,以需求为依据,根据需求分析结果进行了系统的设计,并将其划分为管理员和用户二种角…

c++ 11 新特性 不同数据类型之间转换函数之reinterpret_cast

一.不同数据类型之间转换函数reinterpret_cast介绍 reinterpret_cast是C中的一种类型转换操作符,用于执行低级别的位模式转换。具体来说,reinterpret_cast可以实现以下功能: 指针和整数之间的转换:这种转换通常用于在指针中存储额…

MATLAB | MATLAB版玫瑰祝伟大女性节日快乐!!

妇女节到了,这里祝全体伟大的女性,节日快乐,事业有成,万事胜意。 作为MATLAB爱好者,这里还是老传统画朵花叭,不过感觉大部分样式的花都画过了,这里将一段很古老的2012年的html玫瑰花代码转成MA…

[OpenCv]频域处理

目录 前言 一、频域变换 1.傅里叶变换 2.代码实现 二、频域中图像处理 1.理解数字图片的频谱 2.频域图像处理步骤 3.使用低通滤波器实现图像平滑 4.使用高通滤波器实现图像锐化 三、总结 前言 数字图像处理的方法有两大类:一种是空间域处理法,…

C# LINQ基础

LINQ基础 1. 入门2. 运算符流语法2.1 连续使用查询运算符2.2 使用Lambda表达式2.2.1 Lambda表达式及Func的方法签名2.2.2 Lambda表达式和元素类型2.2.3 自然排序2.2.4 其他查询运算符 3 查询表达式4 延迟执行4.1 重复执行4.2 捕获的变量4.3 延迟加载的工作原理4.4 查询语句的执…

Python学习笔记-Flask实现简单的抽奖程序

1.导入flask包和randint包 from flask import Flask,render_template from random import randint 2.初始化 Flask 应用: app Flask(__name__) 3. 定义英雄列表 hero [黑暗之女,狂战士,正义巨像,卡牌大师,德邦总管,无畏战车,诡术妖姬,猩红收割者,远古恐惧,正义天使,无极剑…

dbeaver更换下载驱动地址

DBeaver 是一个免费开源的数据库工具,提供对多种数据库系统的支持,包括 MySQL、PostgreSQL、Oracle、SQLite 等。它是一个通用的数据库管理工具,可以帮助用户连接、管理和查询各种类型的数据库。 下载地址 使用dbeaver连接数据库时需要先下…

网络安全知识入门:Web应用防火墙是什么?

在互联网时代,网络安全问题逐渐受到重视,防火墙的配置也是非常必要的。它是位于内部网和外部网之间的屏障,更是系统的第一道防线。Web应用防火墙是什么,如何才能更好地保护Web应用,这篇文章会从应用安全为出发点&#…

一、大数据集群搭建

1、前言 学习大数据需要准备3台服务器,这里我们在VMWare创建3台虚拟机来搭建大数据集群环境 如果本地服务器条件不允许,可以考虑云环境,如阿里云 2、搭建大数据集群 我们准备安装3台虚拟机,一个主节点,两个从节点。 主…

网络工程师笔记10 ( RIP / OSPF协议 )

RIP 学习路由信息的时候需要配认证 RIP规定超过15跳认定网络不可达 链路状态路由协议-OSPF 1. 产生lsa 2. 生成LSDB数据库 3. 进行spf算法,生成最有最短路径 4. 得出路由表

智慧公厕系统架构分析及应用探索

智慧公厕是运用物联网技术和云计算平台,实现对公共厕所的智能管理和优化的未来式公共厕所信息化整体解决方案。该系统由应用层、平台层、传输层和感知层组成,各层相互配合,共同构建一个高效、智能的公厕运营环境。 一、感知层: …

Linux:kubernetes(k8s)探针LivenessProbe的使用(9)

他做的事情就是当我检测的一个东西他不在规定的时间内存在的话,我就让他重启,这个检测的目标可以是文件或者端口等 我这个是在上一章的基础之上继续操作,我会保留startupProbe探针让后看一下他俩的执行优先的一个效果 Linux:kuber…

短视频矩阵系统----矩阵系统源码搭建(技术门槛?)

短视频矩阵是什么意思?短视频矩阵的含义可以理解为全方位的短视频账号,通过不同的账号实现全方位的品牌展示。实际上是指一个短视频账号,通过不同的链接实现品牌展示,在不同的粉丝流量账号中互相转发同一个品牌,在主账…

c++之旅——第五弹

大家好啊,这里是c之旅第五弹,跟随我的步伐来开始这一篇的学习吧! 如果有知识性错误,欢迎各位指正!!一起加油!! 创作不易,希望大家多多支持哦! 一&#xff0…

php调用guzzlehttp库时出现Segmentation fault的解决方案

先说结论,这个问题的原因是因为php7.4与openssl3不兼容产生的,解决方案如下: 输入openssl version -a查看openssl版本,如果是3以上的版本与php7.4不兼容,7.4以下的没测试过,估计也有问题。我最终是安装上了…

Java特性之设计模式【过滤器模式】

一、过滤器模式 概述 ​ 过滤器模式(Filter Pattern)或标准模式(Criteria Pattern)是一种设计模式,这种模式允许开发人员使用不同的标准来过滤一组对象,通过逻辑运算以解耦的方式把它们连接起来。这种类型的…

代码随想录算法训练营Day38 || leetCode 7509. 斐波那契数 || 70. 爬楼梯 || 746. 使用最小花费爬楼梯

动态规划和我们数电中学习的时序电路类似,某一时刻的状态不仅与当前时刻的输入有关,还与之前的状态有关,所以推导过程中我们需要模拟题目中的情况,来找到每一时刻状态间的关系。 做题思路如下 509. 斐波那契数 此题简单 状态方程…

大型c++项目在linux下如何调试?

大型c项目在linux下如何调试? 在开始前我有一些资料,是我根据网友给的问题精心整理了一份「Linux 的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!&#xff01…

融资项目——OpenFeign的降级与熔断

当一个微服务调用其他微服务时,如果被调用的微服务因各种原因无法在规定时间内提供服务,则可以直接使用本地的服务作为备选,即进行降级熔断。 如之前所提到的微服务为例: 如果希望实现降级熔断,可以在本地创建一个实现…