【Flink 实战系列】如何给 Flink 任务设置合理的并行度?

news/2024/5/3 21:00:15/文章来源:https://blog.csdn.net/xianpanjia4616/article/details/127388750

如何给 Flink 任务设置合理的并行度?

flink

背景介绍

最近看到很多朋友都在问这个问题,当我在开发 Flink 实时计算任务的时候,如何给每个算子设置合理的并行度呢?如果设置多了可能会出现资源浪费的情况,如果设置少了任务可能会出现反压,所以给 Flink 任务设置一个合理的并行度就显得尤为重要,那今天就针对这个问题做一个详细的分析。

一个 Flink 任务通常是由三个部分组成的,Source,Transformation,Sink,下面就分别说一下每一部分如何设置。

image-20221016172248177

Source

Source 也就是整个任务的数据源,流式任务的 Source 通常是一个消息队列,所以我们就以 kafka 来举例,众所周知,Kafka 的 Topic 是可以设置多个 partition 的,所以最理想的情况下我们就把 source 的并行度设置成和 Topic 的 partition 保持一致,此时一个 Flink 的 subtask 会负责消费一个 partition 的数据,subtask 和 partition 之间是一一对应的关系,此时消费数据的性能是最高的。

Source 的并行度一定要和 Topic 的 par

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_25528.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初识数据结构 堆(一)

初识数据结构 堆一. 堆的概念和性质1. 堆的概念2. 堆的性质3. 小题目练练手二. 代码实现以及堆的部分接口函数1. 结构体代码2. 初始化以及销毁3. 增加数据 (大堆为例)一. 堆的概念和性质 我们在上一篇博客介绍存储二叉树的两种方式 分别是顺序结构和链…

Docker-compose启动mysql

前提:安装docker-compose curl -L https://get.daocloud.io/docker/compose/releases/download/1.29.1/docker-compose-uname -s-uname -m > /usr/local/bin/docker-compose docker-compose.yml version: 3 services: mysql: image: mysql:5.7.22 container_n…

css flex布局 —— 项目属性 flex-shrink

定义 flex-shrink 属性定义了项目的收缩规则。 flex-shrink 主要处理当 flex 容器空间不足时候,单个元素的收缩比例。当父元素的宽度小于子元素宽度之和并且超出了父元素的宽度时,flex-shrink 就会按照一定的比例进行收缩:将子元素宽度之和…

django+pyecharts制作工单系统实时刷新可视化仪表盘并设置报表定时发送

目录 仪表盘整体项目文件夹结构 demo应用效果 demo应用 demo应用的sql语句 demo应用定义的查询mysql类 在demo/views.py文件中 demo应用部分完整代码 urls.py views.py index.html 没有模糊背景 bindex.html 有模糊背景 demo2应用 demo2应用效果 2,将demo和demo2应用结…

Servlet入门学习笔记

目录 一、前置知识:Maven 🍎初识Maven 🍎Maven的使用 二、Servlet 🍑 第一个Servlet程序:hello world 1、创建Maven项目 2、引入依赖 3、创建目录结构 4、编写servlet代码 5、打包 6、部署 7、验证程序 &a…

【Python】Python下载及安装(windows系统)

Python下载及安装(windows系统)下载安装包安装程序配置PATH其他问题下载安装包 浏览器访问下载地址,下载windows的最新版本 安装程序 双击程序安装 1、立即安装,会直接在下面的安装路径下安装,默认C盘 2、自定义安装…

Day7——四数相加||、赎金信、三数之和、四数之和

算法训练的第七天 目录 前言 一、四数相加|| 暴力解法思路: 哈希解法思路: 二、赎金信 解题思路: 三、三数之和 解题思路: 四、四数之和: 解题思路: 总结 前言 今日文案: 许多事情看…

在哪能查到英文论文?

不论是撰写英文论文还是引用外文文献,写论文的过程中想必缺不了检索合适的英文论文这个步骤,在本篇内容里,不仅教会你如何查到英文论文,还要教会你怎么样快速找到合适的英文论文!听起来是不是令人心驰神往,…

facebook、Netflix 10倍速工程效能提升实践

工程效能是什么呢?工程效能是研发团队能够持续为用户产生有效价值的效率,包括有效性、效率和可持续性三个方面。一提到工程效能,大家脑子里马上会浮现持续构建、持续发布、开发流程改进等词汇,往往会忽略有效性。有效性&#xff0…

若依微服务项目本地启动

1.项目地址 https://gitee.com/y_project/RuoYi-Cloud 使用git本地克隆 git clone https://gitee.com/y_project/RuoYi-Cloud2.导入数据库 1.将下图的两个数据库导入ry-cloud数据库 2.导入nacos和seata的数据库里面有键数据库语句直接运行即可 3.下载nacos 1.下载地址 http…

05-运算符

文章目录算数运算符算数运算符执行的优先级顺序赋值运算符一元运算符自增运算符使用比较运算符逻辑运算符运算符优先级 *算数运算符 掌握算数运算符,能写出一些具备运算能力的小程序 数学运算符也叫算数运算符,主要包括加、减、乘、除、取余&#xff0…

ArcGIS中高风险地区热力图制作

一、数据来源及介绍 吉林省长春市中高风险地区名录 登陆微信,查找国家政务服务平台小程序,点击各地疫情风险等级查询,即可查看各地区中高风险地区所在地。 长春市行政边界数据 行政边界数据来源于阿里云数据可视化平台(DataV…

后缀数组原理

一 点睛 在字符串处理中,后缀树和后缀数组都是非常有力的工具,后缀数组是后缀树的一个非常精巧的替代品,比后缀树更容易实现,可以实现后缀树的很多功能,时间复杂度也不逊色,比后缀树所占用的空间也小很多。…

0 引言和准备

14天阅读挑战赛 努力是为了不平庸!这句话可能有些道理 本文概要: 本专栏是想挑战下阅读《趣味算法》一书; 本文主要是开读前,记录一下对本书的理解,和设定一个计划目标。同时,也简单总结了下,对…

DES加密原理描述与分析

目录1.简介2.加密原理2.1 加密步骤2.2 子密钥生成3.解密原理4.安全性5. 3DES 1.简介数据加密标准(英语:Data Encryption Standard,缩写为 DES)是一种对称密钥加密块密码算法,1976年被美国联邦政府的国家标准局确定为联邦资料处理标准(FIPS),随后在国际上广泛流传开来。…

【linux】 第4回 Xshell安装操作

1. 虚拟机关键配置名词解释 1. 虚拟⽹络编辑器说明桥接模式(可以访问互联⽹!!!)配置的地址信息和物理主机⽹段地址信息相同, 容易造成地址冲突NAT模式(可以访问互联⽹!!!)配置的地址信息和物理主机⽹段地址信息不同, 造成不了地址冲突仅主机模式 (不可以访问互联⽹)获取…

GIS Office国产基础软件,助力移动通信基础资源管理建设工程

万物互联,移动5G时代的蓬勃发展,为我们带来高速率、低时延、大连接的网络与通信体验,这离不开移动通信的基础资源管理建设工程。 面对种类繁多、设备资源管理要求极高且庞大的设备量,如何建立一个简单、高效的设备管理流程&#x…

AWS云服务器申请

目录 一、云服务器申请 (一)前言 (二)准备工作 (三)申请 (四)创建实例 (五)配置弹性IP (六)连接服务器实例 (七&am…

Android studio 最新版本(2022.3.1)的Logcat用法

1 1、package: 以包名过滤日志, 预设 package:mine 表示用当前运行的应用包名进行过滤 2、level: 以优先级过滤日志 level:VERBOSE // 显示所有信息 level:DEBUG // 显示调试信息 level:INFO // 显示一般信息 level:WARN // 显示警告信息 level:ERROR // 显示…

Excel的简单编程

Excel的简单编程 主要内容(这张图里有上索引[A,B,C……],左索引[1,2,3……],方便理解语法) 内容同上(该表主要是为了方便复制) 算法d1d2d3d4d5举例语法输出加法12~~~d1d2“B2C2”3减法12~~~d2-d1“C3-B3”…