Open Table Formats beschreiben den Prozess, mit dem Daten in offenen, herstellerunabhängigen Strukturen abgelegt und verwaltet werden. Delta Lake ist eines der verbreiteten Formate in diesem Umfeld. Streaming Engineer profitieren davon, weil Tabellen über verschiedene Werkzeuge hinweg konsistent nutzbar bleiben.

!Kursinhalt

!1. Idee offener Tabellenformate
*Abgrenzung zu reinen Dateiablagen
*Rolle von Metadaten und Logs
*Vergleich mit anderen Formaten

!2. Aufbau von Delta Lake
*Transaktionales Log
*Zeitreisenfunktionalität
*Kompatibilität mit Parquet

!3. Einsatz in Streaming-Strecken
*Schreibmuster aus Spark heraus
*Nutzung durch andere Engines
*Verbindung zu Metastore-Lösungen

!4. Betrieb offener Tabellen
*Wartungsaufgaben wie Optimize und Vacuum
*Umgang mit Schema-Evolution
*Beobachtung der Tabellenlandschaft

!Berufliche Relevanz

*Vermeidung starker Werkzeugbindungen
*Unterstützung heterogener Zugriffsmuster
*Grundlage langfristig tragfähiger Datenplattformen