Maschinelles Lernen für Data Engineering: Data-Engineering-Projekte
Die Teilnehmer wenden maschinelles Lernen (ML) und Data-Engineering-Prinzipien auf reale Projekte an und sammeln praktische Erfahrungen in der Entwicklung von Datenpipelines, der Modellintegration und skalierbaren ML-Workflows. Sie arbeiten an End-to-End-Data-Engineering-Projekten, optimieren Big-Data-Architekturen, Echtzeitverarbeitung und cloudbasierte ML-Bereitstellung, um komplexe Datenherausforderungen zu lösen.

Einführung in Data Engineering und ML-Projekte
  • Verstehen Sie die Schnittstelle zwischen maschinellem Lernen und Datenverarbeitung.
  • Erfahren Sie, wie ML-Modelle in umfangreiche Daten-Workflows integriert werden.
  • Erkunden Sie das Projektlebenszyklus-Management, von der Datenerfassung bis zur Modellbereitstellung.
Entwurf skalierbarer Datenpipelines
  • Erstellen Sie ETL-Pipelines mit SQL, Python und Apache Airflow.
  • Automatisieren Sie die Datenerfassung, -transformation und -speicherung für strukturierte und unstrukturierte Daten.
  • Optimieren Sie die Batch- und Echtzeit-Datenverarbeitung für ML-Anwendungen.
Big Data-Verarbeitung und ML-Integration
  • Arbeiten Sie mit verteilten Computing-Frameworks wie Apache Spark und Hadoop.
  • Implementieren Sie Spark MLlib für skalierbares ML-Modelltraining und Inferenz.
  • Optimieren Sie Datenstrukturen und Arbeitsabläufe für Big Data-Anwendungen.
Echtzeit-Datenverarbeitung mit ML
  • Implementieren Sie ereignisgesteuerte Architekturen mit Kafka und Spark Streaming.
  • Automatisieren Sie Echtzeit-ML-Vorhersagen für eine dynamische Entscheidungsfindung.
  • Optimieren Sie Datenverarbeitungs-Pipelines mit geringer Latenz für Hochleistungsanwendungen.
Cloud-basierte ML- und Data-Engineering-Projekte
  • Stellen Sie ML-Modelle und Daten-Workflows auf AWS, Azure und Google Cloud bereit.
  • Lernen Sie Strategien zur Kostenoptimierung für cloudbasierte ML- und Daten-Pipelines kennen.
  • Implementieren Sie serverlose Architekturen für die skalierbare Bereitstellung von ML-Modellen.
End-to-End-Optimierung des ML-Workflows
  • Entwerfen Sie Strategien zur Modellüberwachung und zum Umlernen für ML-Pipelines.
  • Automatisieren Sie die Entwicklung von Funktionen und Datentransformationen in großem Maßstab.
  • Optimieren Sie die Leistung von ML-Modellen in Produktionsumgebungen.
Abschlussprojekt: Data Engineering für maschinelles Lernen
  • Entwickeln Sie ein umfassendes Data-Engineering-Projekt, das ML-Modelle integriert.
  • Arbeiten Sie mit großen Datensätzen, um skalierbare, automatisierte Workflows zu erstellen.
  • Präsentieren Sie Ergebnisse, Optimierungen und Leistungsverbesserungen.

Maschinelles Lernen wird mit SQL, Python und Apache Airflow in Datenpipelines integriert, um komplexe Datenherausforderungen effizient zu bewältigen.