Förderung
Dieser Kurs ist förderfähig:
- Bildungsgutschein – Bis zu 100 % Kostenübernahme durch Agentur für Arbeit oder Jobcenter. Die Bewilligung ist eine Ermessensentscheidung der Behörde (AZAV-Voraussetzung).
Über den Kurs
Building Scalable Data Pipelines vermittelt gezielt, wie moderne Data Engineer-Techniken zur Konstruktion skalierbarer Datenpipelines eingesetzt werden, die große Datenmengen zuverlässig, performant und flexibel verarbeiten.
Lerninhalte
<p>Building Scalable Data Pipelines vermittelt gezielt, wie moderne Data Engineer-Techniken zur Konstruktion skalierbarer Datenpipelines eingesetzt werden, die große Datenmengen zuverlässig, performant und flexibel verarbeiten. Anders als reine Einführungen zum Thema Data Engineering legt dieser Kurs besonderen Wert auf die Integration komplexer Data Pipeline-Architekturen in Cloud Data-Umgebungen sowie die kompetente Anwendung von Big Data-Tools wie Apache Spark, Airflow oder Kafka für unterschiedliche Datenflüsse (Streaming Data und Batch Processing). Sie lernen systematisch, wie Data Warehouses, ETL- und ELT-Prozesse sowie fortgeschrittenes Datenmodeling und Analytics Engineering praxisnah miteinander verknüpft werden.</p>Grundlagen und Kernkonzepte<ul><li> Detaillierte Einführung in die zentralen Begriffe Data Engineering, Data Pipeline, ETL, ELT und Big Data</li><li> Vergleich klassischer und cloudbasierter Data Pipeline-Architekturen inkl. Cloud Computing-Optionen</li><li> Typische technische Herausforderungen beim Aufbau von Cloud Data Warehouse- und Data-Infrastruktur-Lösungen</li><li> Unterschiede zwischen Batch Processing und Streaming Data im Data Engineering-Kontext</li><li> Kriterien zur Auswahl passender Technologien anhand des jeweiligen Geschäftsbedarfs</li><li> Bedeutung der Data Quality und deren Sicherstellung von Anfang an</li></ul><br/>Technische Implementierung und Praxis<ul><li> Praktische Umsetzung von Data Pipelines mit Python, SQL, Apache Spark, dbt, Airflow und Kafka</li><li> Schrittweise Entwicklung skalierbarer Cloud Data-Pipelines für strukturierte und unstrukturierte Daten</li><li> Überwachung, Wartung und Anpassung von Data Warehouse-Systemen sowie Datenmodellierung in realen Projekten</li><li> Integration und Orchestrierung von Datenströmen aus verschiedenen Quellen</li><li> Spezielle Tuning- und Skalierungsmaßnahmen für Performance auf Produktionsniveau</li><li> Umfassende Methoden für Data Quality-Monitoring, Logging und automatisierte Tests</li><li> Nutzung branchenspezifischer Data Engineering-Frameworks zur Verkürzung von Entwicklungszyklen und Steigerung der Zuverlässigkeit</li></ul><br/>Analyse, Interpretation und Validierung<ul><li> Präzise Messung von Datenfluss-Performance und Kapazität in Cloud Data-Pipelines</li><li> Visualisierungstechniken für Batch- und Streaming Data im Data Engineering</li><li> Systematische Überprüfung der Data Quality in jeder Prozessphase</li><li> Entwicklung valider, nachvollziehbarer Dokumentationen zu jedem Pipeline-Schritt</li></ul><br/>Praxisprojekte, Fallstudien und Vertiefung<ul><li> Ausarbeitung komplexer Data Pipeline-Prototypen von der Anforderungsanalyse bis zur produktiven Implementierung</li><li> Vergleich mehrerer Big Data-Technologien für branchenspezifische Szenarien im Data Engineering</li><li> Fokus auf Datenhaltung, -sicherung und -archivierung innerhalb moderner Cloud Data-Infrastrukturen</li><li> Analyse aktueller Trends wie Echtzeit-Streaming Data, Analytics Engineering und Workflow-Automatisierung im Data Engineer-Umfeld</li></ul>
Bewertungen (0)
Häufige Fragen zu „Building Scalable Data Pipelines“
Ist „Building Scalable Data Pipelines“ förderfähig?
Ja. Für diesen Kurs kommen folgende Förderungen in Betracht: Bildungsgutschein. Die konkrete Bewilligung klärst du mit der jeweiligen Förderstelle (z. B. Agentur für Arbeit oder Jobcenter).
Wie lange dauert „Building Scalable Data Pipelines“?
Die Weiterbildung dauert 2 Monate.
Was kostet „Building Scalable Data Pipelines“?
Die Kosten können über einen Bildungsgutschein der Agentur für Arbeit oder des Jobcenters bis zu 100 % gefördert werden. Die genauen Konditionen nennt dir der Anbieter.
Welchen Abschluss erhalte ich bei „Building Scalable Data Pipelines“?
Nach erfolgreichem Abschluss erhältst du: Zertifikat.
In welcher Lernform findet „Building Scalable Data Pipelines“ statt?
Die Weiterbildung wird in folgender Lernform angeboten: Hybrid.