Apache Airflow

Apache Airflow ist eines der führenden Workflow-Orchestrierungsframeworks für Datenverarbeitung, Analytics und Cloud-Automatisierung. In diesem zweitägigen Seminar erhalten Sie einen praxisorientierten Einstieg in Apache Airflow, lernen Best Practices ebenso wie Anti-Patterns kennen und erfahren, wie Airflow produktiv, stabil und skalierbar eingesetzt wird.

Der Fokus liegt auf der praxisnahen Entwicklung von Airflow-DAGs, dem Orchestrieren von Container- und Batch-Workloads sowie

• Grundlagen und Architektur von Apache Airflow
• DAG-Entwicklung in Python
• Operators und Sensoren (z.B. PythonOperator, BashOperator)
• Scheduling (Cron, Presets, Catchup, Backfill)
• Abhängigkeiten und Task-Flow
• XCom und Datenaustausch
• Jinja-Templates und Macros
• Fehlerstrategien (Retries, SLAs)
• Monitoring und Logging in der Airflow-UI
• Linting und Qualitätsprüfung von DAGs
• Testing von Airflow-Workflows
• Deployment und CI/CD für DAGs
• Versionsverwaltung und Best Practices
• Umgang mit Secrets und Konfiguration
• Anti-Patterns und typische Fehlerquellen
• Ressourcenmanagement und Parallelism
• Airflow 3: Task Execution API und sprachunabhängige, entkoppelte Task-Ausführung 
• Assets und ereignisgesteuertes Scheduling (Nachfolger der Datasets) 
• DAG-Versionierung über mehrere Läufe hinweg
• Neue Airflow-3-UI und überarbeitetes Backfill-Handling

• Grundlegende IT-Kenntnisse
• Basiswissen in Python empfehlenswert
• Kubernetes-Grundlagen hilfreich, aber nicht zwingend notwendig

• Data Engineers und Data Scientists
• Cloud- und DevOps-Engineers
• ETL- / DWH-Spezialist:innen
• IT-Architekt:innen
• Entwickler:innen mit Daten- oder Integrationsfokus