Die Einheit ordnet Big Data in analytische Workflows ein. Big Data liefert skalierbare Datenflüsse, standardisierte Features und reproduzierbare Kennzahlen. Im Mittelpunkt stehen stratifiziertes Sampling, saubere Trainingsschnitte und effiziente Berechnung von Metriken. Big Data nutzt Fensterfunktionen, Aggregationen und vordefinierte Datenverträge, um Auswertungen belastbar zu machen. Relevante Begriffe werden eingeordnet: ROC-AUC (Fläche unter der Kurve), Kalibration (Schwellenanpassung) und Batch vs. Streaming (Verarbeitungsmodi). Big Data bleibt prüfbar durch klare Artefakte, Seeds und dokumentierte Vergleiche zu Baselines.
Inhaltsübersicht1. Architektur - Datenpfade und Rechenmodell2. Big Data - Feature-Engineering3. Modelle - Kennzahlen und Stabilität4. Big Data - Reporting und Betrieb1. Datenpfade und Compute
- Pushdown/Pruning/Caching für Abfragen nutzen
- Ressourcenplanung: Cluster/Jobs, Kostenkontrolle
- Zeitfenster, Granularität, Datensichten festlegen
- Fehlerbehandlung und Wiederanläufe definieren
2. Big Data - Merkmale
- Aggregationen und Window Functions gezielt einsetzen
- Textfelder zu TF-IDF/Embeddings aufbereiten
- Leakage vermeiden, Dimensionalität steuern
- Feature Store und Rezepturen versionieren
3. Modelle und Metriken
- Baselines definieren; F1, ROC-AUC, PR-Kurve berichten
- Schwellen kalibrieren, Konfusionsmatrix prüfen
- Stabilität über Segmente/Zeit messen
- Seeds fixieren, Cross-Validation dokumentieren
4. Big Data - Nutzung
- Standardisierte Tabellen/Views mit Scores/Labels
- Segment- und Zeitreihenberichte in Dashboards
- Monitoring: Drift, Kosten, Datenqualität
- Rollback-Strategien und Änderungslogbuch