Testing von LLM Integrationen umfasst eine Reihe besonderer Aufgaben, weil Tests klassischer Software hier nur begrenzt tragen. Wer methodisch arbeitet, schafft eine belastbare Grundlage für Releases. Der Kurs zeigt einen strukturierten Testansatz.

!Kursinhalt

!1. Besonderheiten beim Testen mit LLMs
*Variabilität der Antworten
*Abhängigkeit von Prompts und Modellen
*Wechselwirkung mit Werkzeugen

!2. Aufbau eines Testkatalogs
*Repräsentative Eingabefälle
*Sicherheits- und Edge-Cases
*Versionierung der Testfälle

!3. Bewertungsverfahren
*Manuelle Bewertung mit Leitfaden
*Automatisierte Bewertung über Hilfsmodelle
*Vergleich von Modellen und Promptvarianten

!4. Verzahnung mit Releaseprozessen
*Tests als Releasekriterium
*Iteration im Entwicklungszyklus
*Beobachtung im laufenden Betrieb

!Berufliche Relevanz

*Belastbare Releasefreigaben in LLM-Projekten
*Reduktion stiller Schwächen
*Profilierung im wachsenden Feld der LLM-Qualitätssicherung