Die Anbindung von Quellsystemen ist der erste Arbeitsschritt in klassischen ETL-Prozessen und entscheidet über die Vollständigkeit der nachgelagerten Verarbeitung. Azure Data Factory stellt hierfür verschiedene Connectoren und Konfigurationsmuster bereit. Im Arbeitsfeld von ETL-Entwickler:innen steht die technische Anbindung dabei in enger Verbindung zu fachlichen Anforderungen an Aktualität und Stabilität.
!Kursinhalt
!1. Connector-Landschaft in Azure Data Factory
*Gängige Quelltypen und ihre Eigenschaften
*Konfiguration von Linked Services
*Umgang mit Authentifizierungsmechanismen
!2. Datenaufnahme aus Datenbanken und Dateien
*Zugriff auf relationale Systeme
*Einbindung von Flat Files und semi-strukturierten Formaten
*Umgang mit Zeichenkodierung und Zeitzonen
!3. Anbindung cloudbasierter Quellen
*REST- und Web-basierte Schnittstellen
*Objektspeicher als Quellsystem
*Verarbeitung paginierter Antworten
!4. Laufzeit- und Stabilitätsaspekte
*Parametrisierung von Quellabfragen
*Umgang mit Zugriffsbeschränkungen und Drosselung
*Protokollierung von Anbindungsvorgängen
!Berufliche Relevanz
*Zuverlässige Datenaufnahme als Voraussetzung stabiler ETL-Prozesse
*Abstimmung mit Systemverantwortlichen auf der Quellseite
*Grundlage für die Pflege bestehender Integrationsstrecken