【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门

news/2024/4/27 13:17:16/文章来源:https://blog.csdn.net/DBA_Huangzj/article/details/129078572

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。

前言

在开发好一个ADF pipeline(功能)之后,需要将其按需要运行起来,这个称之为调度。下图是一个简单的ADF 运作图, 按照需要的顺序,由某个程序或者人,调度Data Factory Service里面的pipelines。这些pipelines是在Data Factory Service中定义和存储的。然后通过pipeline中具体的活动(Activity,比如copy)访问Linked Services, 然后从Source中获取数据,写入Sink中。
在这里插入图片描述

简要说明途中几个关键组件:

Linked Service: 与外部资源的连接。
Dataset: 链接服务器指定了连什么资源,而Dataset指定了资源怎么展示。 Dataset可以是DB 里面的表(或子集), 也可以是ADLS 上CSV文件的列,格式定义等。
Integration Runtime: 实际上就是计算引擎,ADF是一个云“服务”, 它更偏向于设计和调度,并不适合做太多运算, 所以需要借助外部资源来实现。这就是所谓的集成运行时(Integration Runtime, IR) 。
Pipeline: ADF的核心,是操作的一个集合或者容器,跟Logic Apps的workflow类似。ADF几乎所有实际操作都有pipeline来实现。
Data Flows: ADF 有两大类操作(活动, activity),一类是copy, 用于简单的文件传输。另外一种则是Data Flows, 它包含了大量的活动,这些活动用于操作数据,处理逻辑等。相对于copy 活动, data flows更适合用于大数据处理,因为它的后台正是使用了Azure Databricks的引擎。

在设计好pipeline之后,就需要按需调度起来。ADF 调度,用的是trigger, 由于ADF 的操作都需要被封装在pipeline里面,trigger通过管理pipeline的运行方式来实现调度。包括启停, 循环次数等。和Logic Apps类似,它同样可以实现分钟,小时,日,周,月的频率触发。不过配置时要注意时区,因为云计算是基于全球,所以默认都是UTC时间。

除了定时之外,还能被事件触发,比如访问HTTP/s端点,推送消息到Azure Storage queue,文件到达ADLS等。

下面来演示一下。

配置trigger

首先进入特定的pipeline,然后按下图【添加触发器】:

在这里插入图片描述
在配置界面,可以看到一些常见的配置项,这跟Logic Apps中的调度配置类似:

在这里插入图片描述
同样类似的还有时间间隔,也就是“重复” 里面的间隔单位选择,当选择天,周,月时,就会出现“高级定期选项”,如下图。这里可以指定到具体的执行行为, 可以和这篇文字对比着看:【Azure 架构师学习笔记】-Azure Logic Apps(7)- 自定义Logic Apps 调度。

在这里插入图片描述

注意:这些trigger会在你“发布”之后才生效,而不是在你保存的时候。

在保存之后可以看到界面上出现了一个“1”的符号,证明添加了一个新的内容:
在这里插入图片描述

导航到这个位置就能看到是我们刚才配置的触发器。
在这里插入图片描述

同时在monitor界面也可以看到一些pipeline和trigger的信息。不过由于演示并没有发布,所以这里没有实际运行。

在这里插入图片描述

小结

本文简单演示了ADF 的调度入门。下文会对其进行更多的介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_71891.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【YOLOv5】 02-标注图片,训练并使用自己的模型

在上一篇文章中,我们完成了YOLOv5的安装和测试。如果想检测自定义目标,就需要用到LabelImg来对图片打标签,本篇文章介绍了LabelImg安装与使用,以及如何训练并使用自己的模型。一、安装LabelImg输入如下命令进行安装:pi…

seo优化案例截图

点击进入》》三支一扶课程聚合页面 百度统计数据 流量稳步增长, 2022年9月比2021年9月 同期增长 约30%。

rocketmq延时消息自定义配置;一个topic下tag分组

概述 使用的是开源版本的rocketmq4.9.4 rocketmq也是支持延时消息的。 rocketmq一般是4个部分: nameserver:保存路由信息broker:保存消息生产者:生产消息消费者:消费消息 延时消息的处理是在其中的broker中。 但是…

项目中异常信息的统一处理以及JSR03校验

在项目中,我们经常会对前端传过来的数据判断是否有一些错误,比如:id是否为空,传过来的名称是否合格,如果不符合我们通常会抛出异常,那么小的项目可能每次抛出异常也不是很麻烦,但是对于一个大型…

小程序上新(2022.12.12~2023.02.20)

20221216关于小程序违规收集用户隐私行为的规范20221222优先使用本地版本设置功能上线备注:已和微信官方工作人员确认,开启本地优先后,用户打开小程序过程中,异步去下载新版包,打开完成后,功能是新包,异步下载完成后提示用户重启小…

actipro-winforms-controls-23.1.0 Crack

actipro-winforms一组用于构建漂亮的 Windows 窗体桌面应用程序的 UI 控件,用于构建 IDE 的高级停靠窗口、MDI、属性网格、树控件和文件夹/文件浏览器,用于常见数据类型、自动完成、屏蔽编辑和代码编辑的强大编辑器,功能区、图表、微型图表、…

JavaScript中怎么实现链表?

JavaScript中怎么实现链表? 学习数据结构的的链表和树时,会遇到节点(node)这个词,节点是处理数据结构的链表和树的基础。节点是一种数据元素,包括两个部分:一个是实际需要用到的数据&#xff1b…

十一、项目实战一

项目实战一 需求 以 前后端不分离的方式实现学生的增删改查操作 学生列表功能 接口设计 url:/students/ 请求方法:get 参数: 格式:查询参数 参数名类型是否必传说明pageint否页码,默认为1sizeinit否每页数据条数默认为10n…

Ansys Zemax | 如何在存在全内反射 (TIR) 的情况下应用散射

在本文中,我们将展示如何利用虚拟表面来对具有全内反射 (TIR) 的物体进行建模,同时保持其他独特的表面特性,例如粗糙的表面结构。 下载 联系工作人员获取附件 简介 在OpticStudio中,全内反射 (TIR) 在其他表面属性&#xff08…

Java:顶级Java应用程序服务器 — Tomcat、Jetty、GlassFish、WildFly

如果你想编写Java web应用程序,首先需要做出一个艰难的决定:选择运行应用程序的Java应用程序服务器。什么是应用服务器?一般来说,应用程序服务器执行Java应用程序。在操作系统中启动它们,然后将应用程序部署到其中。将应用程序服…

07 二叉树

开始系统学习算法啦!为后面力扣和 蓝桥杯的刷题做准备!这个专栏将记录自己学习算法是的笔记,包括 概念, 算法运行过程,以及 代码实现,希望能给大家带来帮助,感兴趣的小伙伴欢迎评论区留言或者私…

重要节点排序方法

文章目录研究背景提前约定基于节点近邻的排序方法度中心性(degree centrality, DC)半局部中心性(semilocal centrality, SLC)k-壳分解法基于路径排序的方法离心中心性 (Eccentricity, ECC)接近中心性 (closeness centrality, CC)K…

【图文详解】Unity存储游戏数据的几种方法

Unity3D存储游戏数据的方式1 PlayerPrefs: Unity自带的一种简单的键值存储系统2 ScriptableObject: Unity中最灵活的数据管理工具2.1 如何手动创建和修改数据文件2.2 ScriptableObject优缺点总结3 JSON: 轻量级的数据交换格式3.1 序列化与反序列化3.2 用JsonUtility对对象进行序…

最好的工程师像投资者一样思考,而不是建设者

我在大学期间住在图书馆。“我学习的教科书理论越多,我就会成为一名更好的工程师,”我想。然而,当我开始工作时,我注意到业内最优秀的工程师并不一定比应届毕业生了解更多的理论。他们只是带来了不同的心态,即投资者的…

STM32单片机蓝牙APP空气净化系统甲醛二氧化碳温度SGP30

实践制作DIY- GC0124-蓝牙APP空气净化系统 一、功能说明: 基于STM32单片机设计-蓝牙APP空气净化系统 功能介绍: 硬件组成:STM32F103C最小系统板DS18B20温度传感器OLEDSGP二氧化碳甲醛传感器5V直流风扇多个按键HC-05蓝牙模块(仅蓝…

大数据框架之Hadoop:MapReduce(三)MapReduce框架原理——MapReduce工作流程

1、流程示意图 MapReduce详细工作流程(一) MapReduce详细工作流程(二) 2、流程详解 上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Shuffle过程详解&#xff0…

二进制部署K8S

目录 一、环境准备 1、常见的k8s部署方式 2、关闭防火墙 3、关闭selinux 4、关闭swap 5、根据规划设置主机名 6、在master添加hosts 7、将桥接的IPv4流量传递到iptables的链 8、时间同步 二、部署etcd集群 1、master节点部署 2、查看证书的信息 2.1 创建k8s工作目…

SQL74 纠错2

描述供应商表Vendors有字段供应商名称vend_name、供应商国家vend_country、供应商省份vend_statevend_namevend_countryvend_stateappleUSACAvivoCNAshenzhenhuaweiCNAxian【问题】修改正确下面sql,使之正确返回SELECT vend_name FROM Vendors ORDER BY vend_name W…

【Redis】数据结构篇

一. String 字符串 常见用途:缓存用户信息,将用户信息结构体使用 JSON 序列化为字符串,然后将序列化后的字符串给 Redis 来缓存 Redis 字符串是动态字符串,是可以修改的字符串 —— 实现类似 ArrayList ?&#xff1f…

【自动化测试】自动化测试框架那些事儿

无论是在自动化测试实践,还是日常交流中,经常听到一个词:框架。在教学的过程中,同学们一直对“框架”这个词知其然不知其所以然。 最近看了很多自动化相关的资料,加上一些实践,算是对“框架”有了一些理解…