如何成为一名数据工程师：完整的路线图

news/2024/4/29 17:23:12/文章来源:https://www.cnblogs.com/amboke/p/16656707.html

关于如何学习数据工程的完整路线图。

Photo by 这是工程RAEng on 不飞溅

数据工程是设计和构建用于大规模收集、存储和分析数据的系统的实践。组织可以收集大量数据，但为了确保数据在到达数据科学家和分析师时处于高度可用的状态，他们需要合适的人员和合适的技术，数据工程师在这里采取行动。这些是您在处理数据时可能执行的一些常见任务

必须学习的大量工具和主题不应让初学者感到负担过重。有各种学习阶段，因此作为新手，您应该只专注于掌握要领。随着时间和经验的积累，您会感到轻松自在，并准备好进入高级主题。

**数据库概念：
** 关系数据库、约束、键、触发器、规范化
课程推荐：关系数据库设计
**Python 编程
** 基本语法、处理文件、连接到数据库、构建基本 API、处理结构化（数据库和表）和非结构化（XML、JSON 等）数据。
课程推荐：
一个。 Youtube 上的 Python 课程
湾。 2022 年完成 Python 训练营，从零到 Python 中的英雄
**SQL
** 基本数据提取、连接表、键、约束、窗口函数、聚合函数等。
课程推荐：
一个。 Youtube 上的 SQL 课程
湾。完整的 SQL 训练营 2022：从零到英雄
**数据仓库和数据建模
** 基本数据仓库概念、数据仓库数据建模、星雪花模式、事实和维度表等。
课程推荐：
一个。 Youtube 上的数据仓库课程
湾。数据仓库——终极指南
**云基础知识
** 云中的弹性、可扩展性、存储和计算、云中的数据堆栈。
课程推荐：
一个。 Youtube 上的云基础课程
湾。终极 AWS 认证解决方案架构师助理 2022
**Hadoop 生态系统和 Spark
** Hadoop、MapReduce、为什么要引入 spark、Spark 基础知识。
课程推荐：
一个。 Youtube 上的 PySpark 课程
湾。 Youtube 上的 Hadoop 课程
C。使用 Apache Spark 和 Python 驯服大数据——动手吧！

**工作流管理和调度程序
** 这是现代数据堆栈中非常重要的组件。在 AirFlow（最受欢迎和市场领导者）或其他任何东西（Luigi，Prefect）之间进行选择
课程推荐：
一个。 Youtube 上的气流课程
湾。 Apache Airflow 的完整实践介绍
**数据流
** 数据流通过数以千计的数据源近乎实时地将数据连续发送到目的地
课程推荐：
一个。 Youtube 上的 Apache Kafka 课程
湾。 Apache Kafka 系列 — 为初学者学习 Apache Kafka v3
**云数据仓库
** 红移、雪花、BigQuery
课程推荐：
一个。 Youtube 上的 AWS Redshift 课程
湾。终极 AWS 认证解决方案架构师助理 SAA-C03
C。雪花——完整的大师班（2022 年版）
**数据湖
** 课程推荐：
一个。 Youtube 上的 Azure 数据湖课程
湾。 Youtube 上的 AWS 数据湖课程
C。在 AWS 和 Azure 上使用 Databricks 进行数据工程

**仪表板工具
** Power BI、Tableau 或 Looker
课程推荐：
一个。 Youtube 上的 Power BI 课程
湾。适用于商业智能的 Microsoft Power BI Desktop
C。 Youtube 上的 Tableau 课程
d。 Tableau 2022 AZ：数据科学实践 Tableau 培训
e. Youtube 上的 Looker 课程
F。 Looker 和 LookML——初学者的完整课程
**码头工人
** Docker 有助于避免与基础设施相关的复杂性。这有助于独立且轻松地设置数据环境。
课程推荐：
一个。 Youtube 上的 Docker 课程
湾。 Docker & Kubernetes：实用指南【2022版】