Data Warehouse Design führt Sie gezielt in die tiefgehenden Strukturen, Methoden und Werkzeuge ein, die für den Aufbau, die Wartung und die Optimierung moderner Data Warehouses entscheidend sind. Im Gegensatz zu allgemeinen Data Engineering-Kursen steht hier die Entwicklung skalierbarer Cloud Data Warehouse-Lösungen und komplexer Datenmodelle im Fokus. Sie lernen, wie Sie ETL- und ELT-Prozesse effizient mit modernen Tools wie Apache Spark, Airflow, dbt und Kafka realisieren und strukturierte wie unstrukturierte Daten in leistungsstarke Data Pipelines einbinden. Mit viel technischer Tiefe wird praxisnah auf die Integration von Big Data, Streaming Data, Data Quality und Produktionsumgebungen anhand von Python, SQL und Cloud Computing eingegangen - für nachhaltige, analytisch robuste Data Warehouse-Lösungen.
Grundlagen und Kernkonzepte- Detaillierte Data Engineering-Grundlagen speziell für Data Warehouse-Architekturen und Cloud Data Warehouse-Strukturen
- Unterschiedliche ETL- und ELT-Methoden für diverse Datenquellen verstehen und vergleichen
- Bedeutung von Data Modeling für analytische und operative Anforderungen
- Differenzierung von Batch Processing und Streaming Data für Data Pipelines im Data Warehouse
- Die kritische Rolle der Data Quality und deren Prüfung
- Einordnung des Data Engineer-Rollentyps in die Data-Infrastruktur unterschiedlicher Branchen
Technische Implementierung und Praxis
- Aufsetzen einer End-to-End-Data Pipeline für ein Cloud Data Warehouse mit Apache Spark, Airflow und dbt
- Implementierung komplexer ETL-Prozesse in Python und SQL für strukturierte und semi-strukturierte Daten
- Troubleshooting typischer Data Warehouse-Probleme und Strategien für resilienten Betrieb
- Nutzung von Kafka für Streaming Data und Integration heterogener Datenströme
- Optimierung von Datenmodellen auf Skalierbarkeit und Performance im Cloud Computing-Umfeld
- Detailliertes Monitoring der Datenpipelines und Sicherstellung der Data Quality im laufenden Betrieb
- Automatisierte Datenvalidierung und Testverfahren für stabile Datenflüsse
Analyse, Interpretation und Validierung
- Systematische Validierung von Analytics Engineering-Ergebnissen im Data Warehouse-Kontext
- Entwicklung von aussagekräftigen Dashboards und Reports für geschäftsrelevante Analysen
- Nutzung von Signifikanztests für Data Quality und Data Modeling
- Umgang mit Bias, Fehlerquellen und Dateninkonsistenzen in ETL/ELT-Strecken
- Maßnahmen zur Absicherung der Nachvollziehbarkeit und Compliance der Datenpipelines
- Dokumentation von Architektur, Prozessen und Data-Infrastruktur für Reproduzierbarkeit
Praxisprojekte, Fallstudien und Vertiefung
- Umsetzung end-to-end integrierter Data Warehouse-Projekte auf realen Cloud Data-Stacks
- Anwendung verschiedener Data Engineering- und Analytics Engineering-Techniken auf Big Data