Die Weiterbildung "Data Engineer" richtet sich an Personen, die Dateninfrastrukturen aufbauen, optimieren und verwalten möchten. Ziel der Maßnahme ist es, den Teilnehmenden zu vermitteln, wie sie Datenpipelines entwickeln, Datenbanken integrieren und Datenverarbeitungsprozesse effizient gestalten können.
Modul 1: Einführung in Data Engineering- Grundlagen und Bedeutung von Data Engineering in modernen Unternehmen
- Überblick über die Werkzeuge und Technologien im Data Engineering
- Einführung in Datenbank- und Cloud-Management
Modul 2: Datenpipelines und ETL-Prozesse
- Erstellung und Verwaltung von ETL-Prozessen (Extract, Transform, Load)
- Nutzung von Apache Spark und Apache Kafka zur Datenverarbeitung
- Optimierung von Datenpipelines für große Datensätze
Modul 3: Datenbanken und Speichertechnologien
- Verwendung von SQL und NoSQL-Datenbanken für Datenmanagement
- Verwaltung und Skalierung von Datenbanken
- Nutzung von Cloud-Datenbanken und Data Warehousing
Modul 4: Big Data und Data Lakes
- Einsatz von Big Data-Technologien wie Hadoop und Hive
- Erstellung und Verwaltung von Data Lakes für unstrukturierte Daten
- Datenaggregation und Analyse von Big Data
Modul 5: Automatisierung und Monitoring von Datenprozessen
- Automatisierung von Datenpipelines und -prozessen
- Überwachung von Datenflüssen und -qualitäten in Echtzeit
- Fehlerbehebung und Optimierung von Datenprozessen
Nach Abschluss der Weiterbildung sind die Teilnehmenden in der Lage, Datenpipelines zu entwickeln, Big Data zu verwalten und Datenverarbeitungsprozesse in Unternehmen zu optimieren und zu automatisieren.