Die Einheit ordnet Big Data in skalierbare, prüfbare Abläufe ein. Big Data verbindet Speicher- und Rechenkonzepte mit klaren Datenverträgen, damit Analysen reproduzierbar bleiben. Big Data erklärt präzise: Columnar Storage (spaltenorientierte Ablage), Window Function (Analyse über Zeit/Gruppen), Batch vs. Streaming (Verarbeitungsmodi) und Feature Store (verwaltete Merkmalsablage). Big Data priorisiert Datenqualität, Kostenkontrolle und Performance. Big Data dokumentiert Artefakte, Seeds und Versionen, damit Vergleiche über Zeit und Segmente belastbar sind und Ergebnisse in Berichten konsistent dargestellt werden.
Inhaltsübersicht1. Plattform - Speicher, Formate, Zugriff2. Big Data - Datenflüsse und Verträge3. Feature-Engineering - Aggregation und Fenster4. Big Data - Betrieb, Monitoring, Governance1. Infrastruktur und Formate
- Parquet/CSV, Partitionierung, Kataloge und Schemen
- Pushdown/Pruning/Caching für effiziente Abfragen
- IDs und Zeitachsen konsistent halten
2. Big Data - Datenflüsse
- ETL/ELT, Orchestrierung, Fehlerpfade definieren
- Verträge und Schemaversionen dokumentieren
- Qualitäts- und Vollständigkeitschecks automatisieren
3. Features und Berechnung
- Aggregationen und Fensterfunktionen zweckmäßig nutzen
- Leak-Schutz und stratifiziertes Sampling
- Kennzahlen standardisieren (F1, ROC-AUC bei Scores)
4. Big Data - Betrieb und Kontrolle
- Drift-Indikatoren, Alarmregeln, Retraining-Trigger
- Kosten-/Ressourcenmonitoring etablieren
- Audit-Trails, Rechte, Änderungslogbuch führen