Dateningenieur: Grundlagen für Dateningenieure
Die Teilnehmer werden eine solide Grundlage im Bereich Dateningenieurwesen entwickeln, die Kernkonzepte, wesentliche Tools und bewährte Verfahren für die Verwaltung, Verarbeitung und Optimierung umfangreicher Daten-Workflows umfasst. Sie werden praktische Erfahrungen mit SQL, Python, ETL-Prozessen, Cloud-Plattformen und der Automatisierung von Datenpipelines sammeln und so die grundlegenden Fähigkeiten erwerben, die für eine Karriere im Bereich Dateningenieurwesen erforderlich sind.

Einführung in das Dateningenieurwesen
  • Verstehen Sie die Rolle eines Dateningenieurs in modernen Datenökosystemen.
  • Erkunden Sie Datenpipelines, ETL-Workflows und Datentransformationstechniken.
  • Lernen Sie die 4 Vs von Big Data kennen: Volume, Velocity, Variety und Veracity.
Grundlegende Tools für Dateningenieure
  • Arbeiten Sie mit SQL und Python für die Datenabfrage und -verarbeitung.
  • Verstehen Sie relationale Datenbanken, NoSQL und verteilte Speicherlösungen.
  • Erkunden Sie Big-Data-Frameworks wie Apache Hadoop und Apache Spark.
Daten-Workflow und ETL-Prozesse
  • Erstellen Sie ETL-Pipelines (Extract, Transform, Load) für strukturierte und unstrukturierte Daten.
  • Automatisieren Sie die Datenerfassung und -transformation mithilfe von SQL- und Python-Skripten.
  • Optimieren Sie Daten-Workflows für Leistung und Skalierbarkeit.
Cloud-basiertes Data Engineering
  • Erfahren Sie mehr über AWS, Azure und Google Cloud für die Datenspeicherung und -verarbeitung.
  • Arbeiten Sie mit Cloud-basierten Datenbanken wie BigQuery, Snowflake und Redshift.
  • Skalierbare Daten-Workflows in Cloud-Umgebungen bereitstellen.
Datenmodellierung und -optimierung
  • Strategien zur Normalisierung, Indizierung und Partitionierung verstehen.
  • Datenbankleistung für die Verarbeitung großer Datenmengen optimieren.
  • Best Practices für das Schema-Design für eine effiziente Datenspeicherung implementieren.
Einführung in die Echtzeit-Datenverarbeitung
  • Streaming-Daten-Frameworks wie Kafka und Spark Streaming kennenlernen.
  • Batch- und Echtzeit-Datenverarbeitungstechniken untersuchen.
  • Implementieren Sie grundlegende Echtzeit-Datenpipelines für ereignisgesteuerte Anwendungen.
Praktische Projekte im Bereich Datenverarbeitung
  • Erstellen Sie End-to-End-Datenpipelines mit SQL, Python und Cloud-Diensten.
  • Entwickeln Sie praxisnahe ETL-Workflows für die Datentransformation und -integration.
  • Optimieren Sie Datenverarbeitungsprozesse für Effizienz und Skalierbarkeit.

Der Kurs "Dateningenieur: Grundlagen für Dateningenieure" behandelt umfassend die Erstellung, Automatisierung und Optimierung von Datenpipelines für Dateningenieure.