Big Data: Data Engineering und Big Data-Konzepte
Die Teilnehmer werden ein tiefgreifendes Verständnis von Data Engineering und Big Data aufbauen und sich mit Schlüsselkonzepten, grundlegenden Tools und bewährten Verfahren in den Bereichen Datenverwaltung, -verarbeitung und -architektur befassen. Sie werden praktische Erfahrungen im Umgang mit großen Datensätzen sammeln und verteilte Systeme, Cloud-Lösungen und Echtzeit-Datenverarbeitung verstehen. Durch praktische Übungen werden sie skalierbare und leistungsstarke Daten-Workflows entwickeln, um reale Herausforderungen im Bereich Big Data Engineering zu bewältigen.
- Verstehen Sie die Rolle von Dateningenieuren in modernen Datenökosystemen.
- Erkunden Sie die 4 Vs von Big Data: Volumen, Geschwindigkeit, Vielfalt und Wahrhaftigkeit.
- Erfahren Sie mehr über Datenpipelines, Aufnahmetechniken und ETL-Prozesse.
- Tauchen Sie ein in Data Lakes, Data Warehouses und NoSQL-Datenbanken.
- Lernen Sie die Prinzipien des verteilten Rechnens und der Parallelverarbeitung kennen.
- Erkunden Sie Tools wie Apache Hadoop, Apache Spark und Flink für die Verarbeitung großer Datenmengen.
- Verstehen Sie Cloud-basierte Architekturen für die skalierbare Datenverarbeitung.
- Lernen Sie, Big-Data-Anwendungen auf AWS, Azure und Google Cloud bereitzustellen.
- Optimieren Sie Kosten und Leistung von Datenverarbeitungs-Pipelines in der Cloud.
- Erstellen Sie effiziente Daten-Pipelines für die Verarbeitung strukturierter und unstrukturierter Daten.
- Implementieren Sie ETL-Workflows (Extract, Transform, Load) mit SQL und Python.
- Automatisieren Sie Datenverarbeitungs-Pipelines mit Apache Airflow.
- Implementieren Sie Echtzeit-Datenstreaming mit Apache Kafka und Spark Streaming.
- Optimieren Sie die Datenverarbeitung mit geringer Latenz für Echtzeitanalysen.
- Entwickeln Sie ereignisgesteuerte Architekturen für die dynamische Datenverarbeitung.
- Lernen Sie Massively Parallel Processing (MPP) für die Verarbeitung großer Datenmengen kennen.
- Optimieren Sie die Abfrageleistung, Indizierung und Partitionierung für Data Warehouses.
- Verbessern Sie Big Data-Lösungen durch Caching, Komprimierung und Workload-Balancing.
- Entwerfen und implementieren Sie End-to-End-Datenpipelines unter Verwendung moderner Frameworks.
- Arbeiten Sie an realen Datensätzen und wenden Sie dabei Big Data-Verarbeitungstechniken an.
- Optimierung der Leistung und Skalierbarkeit in Big-Data-Engineering-Workflows.
Data Engineering und Big Data-Konzepte sind entscheidend für die Entwicklung skalierbarer und leistungsstarker Daten-Workflows in modernen Datenökosystemen.