Big Data wird als skalierbare Architektur verstanden, die Speicher, Rechenwege und Datenflüsse klar strukturiert. Im Fokus stehen spaltenorientierte Formate, datenvertragliche Schnittstellen und nachvollziehbare Metadaten. Big Data berücksichtigt Partitionierung (Aufteilung großer Datenmengen), Columnar Storage (spaltenorientierte Ablage) und Orchestrierung für wiederholbare Abläufe. Big Data priorisiert eindeutige IDs und Zeitachsen, damit Analysen über Segmente und Perioden vergleichbar bleiben. Big Data dokumentiert Artefakte, Seeds und Versionen, sodass Änderungen prüfbar werden. Die Architektur hält Kosten, Performance und Qualität im Gleichgewicht und bleibt für Reporting wie für Modelle belastbar.
Inhaltsübersicht1. Grundlagen - Speicher, Formate, Zugriffe2. Big Data - Datenflüsse und Verträge3. Betrieb - Qualität, Kosten, Sicherheit4. Big Data - Monitoring und Governance1. Speicher und Formate
- Parquet/CSV wählen, Kompression/Encoding begründen
- Partitionen, Kataloge, Schemata versionieren
- Zugriffe: Pushdown/Pruning/Caching einordnen
2. Big Data - Datenflüsse
- ETL/ELT-Pfade, Orchestrierung, Fehlerpfade definieren
- IDs/Zeitachsen konsistent führen, saubere Joins
- Datenverträge zwischen Quellen/Zielen dokumentieren
3. Betrieb und Performance
- Ressourcenplanung (Compute/Storage/IO) steuern
- Kosten- und Latenzpfade transparent machen
- SLA, Rechte, Backups und Wiederanläufe festlegen
4. Big Data - Überwachung
- Drift-Indikatoren und Qualitätschecks automatisieren
- Seeds/Versionen des Datenstands ausweisen
- Audit-Trails, Change-Logs und Reviews pflegen