Azkaban(三):进阶案例-java作业类型案例、条件工作流案例、定时执行案例

news/2024/5/8 13:38:42/文章来源:https://blog.csdn.net/qq_55906442/article/details/127330980

目录

Javaprocess作业类型案例

条件工作流案例

运行时参数案例

预定义宏案例

定时执行案例


Javaprocess作业类型案例

Javaprocess类型可以运行一个自定义主类方法,type类型为javaprocess。

1.创建maven工程,创建类名,创建AzkabanCase类。

package com.zj;public class AzkabanCase {public static void main(String[] args) {System.out.println("this is case for azkaban!");}
}

2.打包(clear——>compile——>package)

 3.新建java.flow,内容如下:

nodes:- name: javatesttype: javaprocessconfig:Xms: 90MXmx: 200Mjava.class: com.zj.AzkabanCase

解释:

Xms:最小堆;

Xmx:最大堆;

classpath:类路径;

java.class:要运行的java对象;

main.args:main方法的参数;

4.将jar包、java.flow和azkaban.project文件打包成java.zip

5.web server操作

和以前的azkaban操作一样

Azkaban(一):入门-安装及案例_一个人的牛牛的博客-CSDN博客

Azkaban(二):基础案例集-依赖案例、自动重试案例、手动调节是否执行案例_一个人的牛牛的博客-CSDN博客

(1)新建项目;

(2)上传压缩包;

(3)执行作业;

(4)观察结果

条件工作流案例

 条件工作流功能允许用户自定义执行条件来决定是否执行某些job。

条件可以由当前的父job的输出参数构成,也可以使用预定义宏。在这些条件下,用户可以在确定执行逻辑时获得更大的灵活性。例如:只要父job执行成功就可以执行当前job。

运行时参数案例

基本原理

(1)父job将参数写入JOB_OUTPUT_PROP_FILE环境变量所指向的文件。

(2)子job使用${jobName:param}来获取父job输出的参数并定义执行条件。

支持的条件运算符

1== 等于

2!= 不等于

3> 大于

4>= 大于等于

5< 小于

6<= 小于等于

7&&

8||

9!

案例

需求: jobA执行一个shell脚本。 jobB执行一个shell脚本,但jobB不需要每天都执行,只需要每个周二执行。

1.创建编写jobA.sh

#!/bin/bash
echo "this is jobA,done JobA!!!"
wk=`date +%w`
echo "{\"wk\":$wk}" > $JOB_OUTPUT_PROP_FILE

解释:

date +%w:输出星期为数字,星期一--星期六为1--6,星期日为0;

"{\"wk\":$wk}":json类型,json基本格式为"{"key":value}",\"为转义字符;

2.创建编写jobB.sh

#!/bin/bash
echo "this is jobB,done jobB!!!"

3.创建编写condition.flow

nodes:- name: jobAtype: commandconfig:command: sh jobA.sh- name: jobBtype: commanddependsOn:- jobAconfig:command: sh jobB.shcondition: ${jobA:wk} == 2

4.将jobA.sh、jobB.sh、condition.flow和azkaban.project文件以zip格式压缩打包

5.web server操作

和前面流程一样

创建项目——上传压缩包——执行作业——观察结果

结果:

 完成!!!!

预定义宏案例

Azkaban中预置了几个特殊的判断条件,称为预定义宏。

预定义宏会根据所有父job的完成情况进行判断,再决定是否执行。可用的预定义宏如下:

1all_success:表示父job全部成功才执行(默认);

2all_done:表示父job全部完成才执行;

3all_failed:表示父job全部失败才执行;

4one_success:表示父job至少一个成功才执行

5one_failed:表示父job至少一个失败才执行;

案例

需求:

jobA和jobB分别执行一个shell脚本

jobC执行一个shell脚本,要求jobA、jobB中有一个成功就可以执行;

1.创建并编写jobB.sh,jobC.sh,不编写jobA,使jobA执行失败

#!/bin/bash
echo "this is jobB,done jobB!!!"
#!/bin/bash
echo "hello,hello!this is jobC,done JobC!!!"

2.创建并编写predefine.flow

nodes:- name: jobAtype: commandconfig:command: sh jobA.sh- name: jobBtype: commandconfig:command: sh jobB.sh- name: jobCtype: commanddependsOn:- jobA- jobBconfig:command: sh jobC.shcondition: one_success

3.将predefine.flow、jobB.sh、jobC.sh和azkaban.project以zip压缩格式打包

4.web server操作

和前面流程一样

创建项目——上传压缩包——执行文件——观察结果

结果:

完成!!!!! 

定时执行案例

需求:jobA每隔一分钟执行一次。

1.新建azkaban.project文件(文件名不重要,后缀一定要是project·),内容如下:

azkaban-flow-version: 2.0

注:内容含义为采用flow-API(版本为2.0)方式解析flow文件。

2.新建first.flow文件(文件名不重要,后缀一定要是flow),内容如下:

nodes:- name: jobAtype: commandconfig:command: echo "Hello World"

3.将azkaban.project和first.flow压缩,以zip格式压缩,文件名一定要是英文

4.浏览器进入web server操作

流程和前面一样

Azkaban(一):入门-安装及案例_一个人的牛牛的博客-CSDN博客

Azkaban(二):基础案例集-依赖案例、自动重试案例、手动调节是否执行案例_一个人的牛牛的博客-CSDN博客

Azkaban(三):进阶案例-java作业类型案例、条件工作流案例_一个人的牛牛的博客-CSDN博客

创建项目——上传压缩的文件——设置执行任务——观察结果

(1)设置定时执行,在执行工作流时候,选择左下角Schedule

 (2)填写具体执行设置

(3)观察结果

 (4)删除定时调度

 完成!!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_24078.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ISP图像信号处理 | GAMES204-计算成像

图像信号处理 | GAMES204-计算成像Dead Pixel CorrectionBlack Level CompensationAnti-aliasingLens Shading CorrectionNoise Reduction3ASAuto-exposureAuto FocusAWBDemosaic&#xff1a;CFA InterpolationColor CorrectionEdge EnhancementFalse Color SuppressionBrightn…

运动用品品牌排行榜,双十一运动装备选购清单

运动需要我们坚定的决心与毅力&#xff0c;因为它也是一个枯燥而艰辛的过程&#xff0c;需要无数汗水的挥洒与不断重复的坚持。为了让自己能更坚持下去运动&#xff0c;我一般都会选择用外在运动装备来辅助锻炼&#xff0c;不仅仅能提高运动效率&#xff0c;还能让运动更加快乐…

移动端自动化任务-AutoJs Pro v9使用教程(一)

官网 - Auto.js Pro Github代码示例 教程与博客 (autojs.org) 开源版文档 Pro 版 API 旧文档 Pro 版 v9新文档 一、前言 本教程是本人学习 Auto.js Pro V9 的记录&#xff0c;算是个入门教程&#xff0c;通过本文可帮你快速了解 autojs 的大体用法和开发步骤。官方文档也有中文…

【qml】QQuickPaintedItem作为代理在ListView中使用

文章目录1.说明2.程序截图3.TextBalloon 类3.1 TextBalloon.h3.2 TextBalloon.cpp3.3 textballoons.qml3.4 main.cpp1.说明 QQuickPaintedItem类提供了一种在QML场景图中使用QPainter API的方法。 QQuickPaintedItem本身作为Item&#xff0c;也可以在ListView中作为代理使用。…

机器学习笔记 - sklearn决策树(kaggle 实战 Titanic 入门)

Kaggle - Titanic 前言 这是 Kaggle 上非常典型的一道入门题&#xff0c;可以用很多机器学习或者深度学习甚至是一些“奇淫技巧”的方法来解决。因为我是一个初学者&#xff0c;所以我希望在尽可能提高正确率的情况下&#xff0c;用更简单的方法。如果这也能帮助到你&#xf…

数据库作业一

MySQL数据库 MySQL官方提供了两个不同的版本&#xff1a; 1、社区版 &#xff08;MySQL Commimity Server&#xff09;免费&#xff0c;MySQL不提供任何技术支持&#xff08;本文操作选用社区版&#xff09; 2、商业版&#xff08;MySQL Enterprise Edition&#xff09;收费&a…

[Microsoft] 通过Microsoft Spotlight 中国站云技能挑战获取微软免费考试券

这是一篇关于微软Spotlight 推出学习活动的同时&#xff0c;如何获得免费考试券的方法&#xff0c;如果该文章在未来时间已经失效&#xff0c;那么建议你关注一下这个博客&#xff0c;有Azure China Cloud最新的消息会进行更新通知。 文章目录1. 所需准备注册账号2. 参加 Micro…

二十八、Hive集成HBase分析搜索引擎用户行为数据

我们已经知道,HBase数据库没有类SQL的查询方式,因此在实际的业务中操作和计算数据非常不方便。而Hive支持标准的SQL语法(HiveQL),若将Hive与HBase集成,则可以通过HiveQL直接对HBase的表进行读写操作,让HBase支持JOIN、GROUP等SQL查询语法,完成复杂的数据分析。甚至可以…

【电源设计】13开关电源仿真与应用

0.前言 本章主要是大概了解一下开关电源仿真与应用&#xff0c;开关电源仿真设计全过程&#xff1a;包括需求分析/控制/PWM。因为本人并不是专门做电源的&#xff0c;此部分内容仅作了解&#xff0c;并不专门去学习。 文章目录0.前言1.项目需求2.方案介绍2.1DCDC级&#xff08…

互联网重提内容为王?学Netflix(奈飞)做好内容营销

Netflix 成立于1997年&#xff0c;不久便一跃成为最受瞩目的流媒体服务网站。它为什么能在短短时间内获得如此巨大的成功呢&#xff1f;答案就在于它使用的超凡 内容营销策略 和方法 —— 数据驱动 、优化内容、以流量转化为目标。 内容为王众人皆知&#xff0c;内容营销是品牌…

【计算机毕业设计】java ssm高校计算机网络考试系统(源码+论文)

提供了一些今年最新计算机毕业设计源代码、文档及帮助指导&#xff0c;公众号&#xff1a;一点毕设&#xff0c;领取更多毕设资料。 随着计算机以及网络在教学领域的高速发展&#xff0c;为了加快数字化校园的进程&#xff0c;更好的实现现代化的教育改革&#xff0c;针对于当下…

手动制作满足SARscape要求的_dem数据

手动制作满足SARscape要求的_dem数据问题描述1 下载研究区的原始DEM数据&#xff0c;在envi中镶嵌裁剪&#xff0c;得到.dat格式的数据&#xff0c;然后用envi中的Original ENVI工具把.dat转成_dem1.1 下载研究区的原始DEM数据1.2 将.tif数据转成envi格式的.dat2. 能不能直接将…

WordPress开发中常用代码(必备)

很多人在WordPress开发中常用代码&#xff0c;WordPress 相比其它网站程序&#xff0c;最突出的优势&#xff1a;主题模板多&#xff0c;插件多&#xff0c;相关技术文章多&#xff0c;只要你想到的功能&#xff0c;都可以通过插件或者代码实现。现在分享下WordPress常用代码&a…

组合关系比依赖关系耦合性更强

首先说明&#xff0c;在这里我把“关联”、“组合”、“聚合”关系都统一当做“组合”关系来说的&#xff0c;但实际上聚合&#xff08;has-a&#xff09;是关联的一种&#xff0c;组合&#xff08;cntains-a&#xff09;也是关联的一种。如果想要知道三者之间的区别&#xff0…

实验二.常用网络命令

常用网络命令一、实验目的与要求学习常用网络命令的使用方法熟悉主机的基本网络配置 二、预习与准备网络常用命令及基本用法。主机的基本网络配置信息。 三、 实验内容 1.Ping命令 2.ipconfig命令 3.arp命令&#xff08;地址转换协议&#xff09; 4.traceroute命令 5.route命令…

花咲の姫君(異時層ツキハ) / 花咲(异时层妖刀)

目录基本资料面板值&#xff08;无天冥加成&#xff09;天冥奖励战斗宣言&#xff08;VC&#xff09;被动效果Another Sense技能珠子回到人物索引 基本资料 NS(5★)卡池 (Ver 2.13.50)ミヤビノカミの典録 天冥属性武器防具属性耐性异常耐性NS天火枪护腕风30%10%个性枪、东方、…

目标检测SSD学习笔记

目标检测SSD学习笔记 SSD: Single Shot MultiBox Detector Abstract. 我们提出了一种使用单一深度神经网络来检测图像中的对象的方法。我们的方法&#xff0c;命名为SSD&#xff0c;将边界框的输出空间离散化为一组默认框&#xff0c;每个特征地图位置具有不同的纵横比和比例…

BasicSR入门教程

BasicSR入门教程 1.安装环境 由于安装好的其他环境已经有了pytorch&#xff0c;那么新建环境时直接拷贝该环境就好 //复制环境 conda create --name my-basicsr --clone mmediting克隆项目 git clone https://github.com/XPixelGroup/BasicSR.git安装依赖包 cd BasicSR pi…

MyBatis--缓存

MyBatis的缓存 MyBatis的一级缓存 一级缓存是SqlSession级别的&#xff0c;通过 同一个SqlSession 查询的数据会被缓存&#xff0c;下次查询相同的数据&#xff0c;就会从缓存中直接获取&#xff0c;不会从数据库重新访问 import com.bijing.mybatis.mapper.CacheMapper; im…

二手商品交易网站

摘 要 本论文主要论述了如何使用JAVA语言开发一个二手商品交易网站&#xff0c;本系统将严格按照软件开发流程进行各个阶段的工作&#xff0c;采用B/S架构&#xff0c;面向对象编程思想进行项目开发。在引言中&#xff0c;作者将论述二手商品交易网站的当前背景以及系统开发的目…