Big Data bildet die Grundlage, um Deep-Learning-Verfahren reproduzierbar zu betreiben. Big Data definiert klare Datenschnitte, Batch-/Stream-Pfade und Artefaktversionen für Trainings- und Inferenzprozesse. Begriffe werden präzise erklärt: Tensor (mehrdimensionales Array), Epoch (Trainingsdurchlauf), Optimizer (Optimierungsverfahren) und Early Stopping (früher Abbruch zur Überanpassungs-Kontrolle). Big Data sorgt für effiziente Ein-/Ausgabe, loggt Kennzahlen standardisiert und ermöglicht nachvollziehbare Vergleiche zu Baselines. Ziel ist, Big Data mit DL-Pipelines stabil, dokumentiert und kostenbewusst einzusetzen.
Inhaltsübersicht1. Datenpfad - Schnitt, Batching, Streaming2. Big Data - Feature-Pipelines und Speicher3. Training - Kennzahlen, Kalibration, Betrieb1. Datenschnitt und Batching
- Train/Validation/Test, Shuffle und Seeds festlegen
- Batching/Prefetching und Serialisierung planen
- Zeitfenster/Granularität im Use-Case verankern
2. Big Data - Feature-Pipelines
- Numerische/kategoriale Transformationen definieren
- Textrepräsentationen (TF-IDF/Embeddings) vorbereiten
- Artefakte/Feature-Rezepte versionieren und prüfen
3. Training, Bewertung, Betrieb
- Kennzahlen loggen: F1, ROC-AUC, Verlustfunktionen
- Kalibration/Schwellenwahl und Gegenbeispiele dokumentieren
- Drift-Indikatoren, Kosten und Rollback-Strategien steuern