Einführung in Apache Airflow

Die Schulung "Einführung in Apache Airflow" bietet einen umfassenden Einblick in dieses leistungsstarke Workflow-Management-Tool. Über drei Tage hinweg werden die Teilnehmer in die grundlegenden Konzepte von Apache Airflow eingeführt und lernen, wie sie komplexe Datenpipelines effizient erstellen, überwachen und verwalten können. Die Schulung besteht aus einer ausgewogenen Mischung aus theoretischen Vorträgen und praktischen Übungen, die es den Teilnehmern ermöglichen, ihr Wissen sofort anzuwenden.

Trainer und Dozenten

Uli Zellbeck ist erfahrener Trainer und verfügt über 25 Jahre Erfahrung in der IT-Branche. Als Senior Data Architect bringt er ein tiefgreifendes Know-how im Aufbau von Datenarchitekturen mit. Seine Expertise erstreckt sich über verschiedene Bereiche der Informationstechnologie, und er hat sich insbesondere auf die Entwicklung fortschrittlicher Datenlösungen on Premise und in der Cloud spezialisiert.

Die Teilnehmer können von seinem reichen Erfahrungsschatz profitieren, während er praxisnahe Einblicke in die Verwendung von Apache Airflow vermittelt.

Voraussetzungen

Diese Schulung richtet sich an Entwickler*innen und Data Engineers, die bereits über grundlegende Kenntnisse in Python und Datenverarbeitung verfügen. Vorkenntnisse in der Entwicklung von Datenpipelines oder Workflow-Management-Systemen sind von Vorteil, aber nicht zwingend erforderlich. Ein grundlegendes Verständnis von Konzepten wie ETL (Extract, Transform, Load) und Datenbanken wird empfohlen.

Inhalt

Schulung Apache Airflow

Tag 1: Grundlagen von Apache Airflow
- Was ist Apache Airflow? Historie und Grundkonzepte
  - Definition von Apache Airflow und seiner Rolle in Datenpipelines
  - Historischer Hintergrund und Evolution von Apache Airflow
  - Kernkonzepte wie DAGs, Operators und Workflows
- Überblick über die Architektur von Apache Airflow
  - Erläuterung von Komponenten wie Scheduler, Executor und Metadatenbank
  - Besprechung von Schlüsselkomponenten und deren Rolle im Betrieb von Airflow
- Einrichtung der Entwicklungsumgebung
  - Installations- und Konfigurationstipps für die lokale Entwicklungsumgebung
  - Vorstellung gängiger IDEs und Tools für die Entwicklung mit Apache Airflow
- Verwendung von Operators und Tasks in Apache Airflow
  - Erläuterung verschiedener Arten von Operatoren und deren Verwendungszweck
  - Vorstellung von Standardoperatoren und deren Einsatz in Workflows
- Übung: Erstellung des ersten DAGs (Directed Acyclic Graph)
  - Praktische Übung zur Erstellung eines einfachen DAGs mit verschiedenen Operatoren
  - Durchführung von Tests und Ausführung des DAGs in der lokalen Umgebung
Tag 2: Fortgeschrittene Konzepte und Anwendungsfälle
- Zeitplanung und Auslösung von DAGs
  - Erläuterung von Zeitplänen und Auslösern in Apache Airflow
  - Konfiguration von Zeitplänen für wiederkehrende Aufgaben
  - Verwendung von Auslösern zur Steuerung der DAG-Ausführung
- Überwachung und Fehlerbehandlung
  - Vorstellung von Überwachungsmechanismen in Apache Airflow
  - Implementierung von Benachrichtigungen und Alarmen bei Fehlern
  - Strategien zur Fehlerbehandlung und Wiederholung von Aufgaben
- Vorstellung von Best Practices und Tipps
  - Diskussion bewährter Methoden für die Entwicklung von Airflow Workflows
  - Tipps zur Skalierung und Performance-Optimierung von Apache Airflow
- Integration von Apache Airflow mit anderen Tools und Plattformen
  - Vorstellung gängiger Integrationsszenarien mit Datenbanken, Cloud-Services usw.
  - Praktische Anwendung von Airflow-Verbindungen und Hooks
- Übung: Entwicklung benutzerdefinierter Plugins und Operatoren
  - Praktische Übung zur Entwicklung und Integration benutzerdefinierter Operatoren und Plugins
  - Testen der Funktionalität und Einsatz der erstellten Plugins in einem DAG
Tag 3: Praktische Anwendung und Erweiterungen
- Praktische Anwendung: Erstellung und Ausführung komplexer Workflows
  - Entwicklung eines komplexeren Workflows unter Verwendung der erlernten Konzepte
  - Einbindung externer Datenquellen und Dienste in den Workflow
- Praktische Anwendung: Optimierung von Workflows und Performance
  - Identifizierung und Behebung von Engpässen und Leistungsproblemen in Workflows
  - Diskussion von Strategien zur Optimierung von Airflow-Workflows
- Diskussion: Herausforderungen und bewährte Methoden bei der Implementierung
  - Offene Diskussion über Herausforderungen bei der Implementierung von Airflow in realen Projekten
  - Austausch von bewährten Methoden und Lösungsansätzen zwischen den Teilnehmern
- Praktische Anwendung: Testing und Deployment von Apache Airflow Workflows
  - Vorstellung von Best Practices für das Testing von Airflow-Workflows
  - Demonstration von Deployment-Strategien und CI/CD-Pipelines für Airflow-Workflows

Kurszeiten

Wer möchte, reist bis 22 Uhr am Vortag an und nutzt den Abend bereits zum Fachsimpeln am Kamin oder im Park.

An Kurstagen gibt es bei uns ab 8 Uhr Frühstück.

Unsere Kurse beginnen um 9 Uhr und enden um 18 Uhr.

Neben den kleinen Pausen gibt es eine Stunde Mittagspause mit leckerem, frisch in unserer Küche zubereitetem Essen.

Nach der Schulung anschließend Abendessen und Angebote für Fachsimpeln, Ausflüge uvm. Wir schaffen eine Atmosphäre, in der Fachleute sich ungezwungen austauschen. Wer das nicht will, wird zu nichts gezwungen und findet auch jederzeit Ruhe.

Preis und Dauer

2 Tage,
666,70 € + 19% MwSt. = 793,37 €

Übernachtungsoptionen

Termine und Anmeldung

7. April 2025, 5 Tage
Modern Open Source Data Warehouse und Einführung in Apache Airflow anmelden
10. April 2025, 2 Tage
Einführung in Apache Airflow anmelden
1. September 2025, 5 Tage
Modern Open Source Data Warehouse und Einführung in Apache Airflow anmelden
4. September 2025, 2 Tage
Einführung in Apache Airflow anmelden

Haben Sie einen anderen Wunschtermin?