Die Ingestion beschreibt den Übergang von Rohdaten aus den Quellsystemen in die Verarbeitungsschicht. Für ETL-Entwickler:innen ist dieser Schritt zentral, weil hier Vollständigkeit, Reihenfolge und Aktualität der Daten festgelegt werden. Azure Data Factory bietet hierfür Copy-Mechanismen, Trigger und Fehlerpfade, die im Zusammenspiel konfiguriert werden.
!Kursinhalt
!1. Ingestion-Muster in der Data Factory
*Vollständige Übernahme versus inkrementeller Abzug
*Zeitbasierte und ereignisgesteuerte Auslöser
*Batching und Fenstersteuerung
!2. Copy Activity im Detail
*Quell- und Zieldefinition
*Mapping von Datentypen
*Einsatz von Datasets und Linked Services
!3. Umgang mit großen Datenmengen
*Partitionierung beim Abzug
*Parallelisierung der Ingestion
*Wiederaufsetzbarkeit bei Abbrüchen
!4. Protokollierung und Fehlerbehandlung
*Erfassung von Laufzeiten und Zeilenmengen
*Behandlung fehlerhafter Datensätze
*Ablage von Rohdaten zur Nachverfolgung
!Berufliche Relevanz
*Sichere Datenaufnahme als Grundlage weiterer Verarbeitungsschritte
*Transparenz gegenüber Fachbereichen bei Abweichungen
*Einordnung in bestehende Betriebs- und Monitoring-Konzepte