Einleitung
Die Weiterbildung vermittelt, wie KI Observability im modernen Berufsalltag umgesetzt wird. Im Mittelpunkt stehen die Überwachung, Kontrolle und Auswertung von KI‑geführten Prozessen mit LangSmith, Arize Phoenix, Datadog, Langfuse, Helicone und OpenTelemetry. Der Fokus liegt auf Tracing, Evaluation, Monitoring, Kostenkontrolle, Fehleranalyse und DSGVO‑orientierter Prozesssicherheit in digitalen und hybriden Arbeitsumgebungen.
Worum geht es in der Weiterbildung?Die Weiterbildung baut Kompetenzen für die Beobachtung und Bewertung von KI‑Abläufen auf. Teilnehmende lernen, wie Traces, Metriken, Logs und Evaluationsdaten genutzt werden, um Antworten, Tool‑Aufrufe, Kosten, Latenzen und Fehlerquellen nachvollziehbar zu machen. Behandelt werden praxistaugliche Ansätze mit LangSmith, Arize Phoenix, Datadog, Langfuse und OpenTelemetry, damit KI‑Prozesse messbar, überprüfbar und zuverlässig bleiben.
Was lernen die Teilnehmenden inhaltlich?1. KI-Tools und Observability
- Arbeiten mit KI Observability
- Verwendung von LangSmith, Arize Phoenix, Datadog, Langfuse, Helicone, OpenTelemetry
2. Tracing und Monitoring
- Traces, Logs und Metriken
- Evaluationsdaten nutzen
3. Prozesssicherheit und Analyse
- Fehleranalyse und Debugging
- Kostenkontrolle und Root Cause Analysis
4. Experimentelle Ansätze
- LLM‑as‑a‑Judge und Regression Testing
- Prompt Testing und Prompt Engineering
5. Governance und DSGVO
- Datenschutz, PII Detection und Datenqualität
- Integration von NIST AI RMF und Human‑in‑the‑Loop