DataFrames beschreiben den Prozess, mit dem strukturierte Daten in Apache Spark einheitlich verarbeitet werden. In Databricks bilden sie die zentrale Abstraktion für Batch- und Streaming-Verarbeitung. Streaming Engineer nutzen DataFrames, um Streams systematisch zu analysieren und zu transformieren.

!Kursinhalt

!1. Grundkonzepte von DataFrames
*Abgrenzung zu RDDs
*Typisierung über Datasets
*Zusammenspiel mit Spark SQL

!2. Arbeiten mit DataFrames
*Auswahl-, Filter- und Join-Operationen
*Aggregationen und Fensterfunktionen
*Umgang mit verschachtelten Strukturen

!3. DataFrames im Streaming-Kontext
*Unified-API zwischen Batch und Stream
*Zeit- und Wasserzeichenkonzepte
*Umgang mit späten Ereignissen

!4. Integration in Databricks
*Verbindung zu Delta Lake
*Nutzung interaktiver Notebooks
*Einbindung in geplante Jobs

!Berufliche Relevanz

*Einheitliche Verarbeitung von Batch- und Stream-Daten
*Grundlage für verteilte Analysen
*Unterstützung nachhaltiger Verarbeitungsmuster