Modul 1: Grundlagen autonomer KI-Systeme und deren Sicherheitsarchitektur
Architektur autonomer Agenten: Aufbau und Funktionsweise von LLM-basierten Agenten, Tools und Memory-Strukturen, analysiert anhand quelloffener Frameworks wie LangChain und AutoGPT.
Bedrohungslandschaft für autonome Systeme: Spezifische Angriffsvektoren wie Prompt Injection, Data Poisoning und unautorisierte Tool-Ausführung, untersucht in sicheren, browserbasierten Umgebungen.
Sicherheitsprinzipien für KI-Agenten: Implementierung von Least Privilege, Sandboxing und Human-in-the-Loop (HITL) Konzepten zur Absicherung autonomer Aktionen.
Open-Source-Sicherheitswerkzeuge: Evaluierung und Einsatz kostenfreier Tools zur Überwachung und Absicherung von KI-Modellen und Agenten-Workflows.
Online Hands-on Lab: Aufbau eines einfachen autonomen Agenten mit LangChain in Google Colab. Implementierung grundlegender Sicherheitsrichtlinien und Überwachung der Agenten-Aktivitäten mittels Open-Source-Logging-Tools.
Modul 2: Absicherung von LLM-Interaktionen und Prompt Security
Prompt Injection und Jailbreaking: Analyse von Techniken zur Umgehung von LLM-Sicherheitsrichtlinien und deren Auswirkungen auf autonome Systeme, demonstriert an frei zugänglichen Modellen.
Abwehrmechanismen gegen Prompt-Angriffe: Entwicklung und Implementierung von Input-Validierung, Output-Filterung und System-Prompt-Härtung in Python-basierten Notebooks.
Sichere Integration von externen Daten (RAG): Absicherung von Retrieval-Augmented Generation Pipelines gegen Data Poisoning und unautorisierten Datenzugriff unter Nutzung von Open-Source-Vektordatenbanken.
Monitoring von LLM-Outputs: Erkennung von Halluzinationen und bösartigen Ausgaben durch automatisierte Analyse mit kostenfreien NLP-Modellen (z.B. via Hugging Face).
Online Hands-on Lab: Entwicklung eines RAG-basierten Chatbots in einer Jupyter-Umgebung. Implementierung von Schutzmaßnahmen gegen Prompt Injection und Evaluierung der Robustheit mit dem Open-Source-Tool Garak.
Modul 3: Sichere Tool-Integration und API-Management für KI-Agenten
Risiken der Tool-Nutzung durch KI: Analyse der Gefahren bei der Ausführung von Code, Datenbankabfragen und API-Aufrufen durch autonome Agenten.
Sandboxing und Isolation: Konzepte zur sicheren Ausführung von KI-generiertem Code in isolierten, browserbasierten Linux-Containern und Docker-Umgebungen.
API-Sicherheit für Agenten: Implementierung von Authentifizierung, Autorisierung und Rate Limiting für Schnittstellen, die von KI-Systemen genutzt werden, unter Verwendung quelloffener API-Gateways.
Überwachung von Tool-Aufrufen: Protokollierung und Analyse der von Agenten ausgeführten Aktionen zur Erkennung von Anomalien und Missbrauch.
Online Hands-on Lab: Konfiguration eines sicheren API-Gateways (z.B. Kong) für einen KI-Agenten. Implementierung von Zugriffskontrollen und Überwachung der API-Aufrufe in einer kostenfreien Cloud-Instanz.
Modul 4: Daten- und Modellsicherheit in autonomen Systemen
Schutz von Trainings- und Kontextdaten: Strategien zur Anonymisierung und Verschlüsselung sensibler Daten in KI-Workflows unter Nutzung von Open-Source-Bibliotheken.
Model Inversion und Extraction Attacks: Verständnis von Angriffen auf die Vertraulichkeit von KI-Modellen und Implementierung von Gegenmaßnahmen in browserbasierten Umgebungen.
Sicheres Modell-Deployment: Best Practices für die Bereitstellung von Open-Source-Modellen (z.B. Llama, Mistral) in sicheren, skalierbaren Architekturen.
Integritätsprüfung von Modellen: Erkennung von manipulierten Modellen (Backdoors) durch kryptografische Signaturen und automatisierte Scans.
Online Hands-on Lab: Bereitstellung eines Open-Source-LLMs mittels Ollama in einer sicheren Container-Umgebung. Implementierung von Zugriffskontrollen und Überprüfung der Modellintegrität.
Modul 5: Adversarial Machine Learning in autonomen Systemen
Evasion Attacks auf KI-Agenten: Techniken zur Täuschung von Klassifikatoren und Entscheidungssystemen innerhalb autonomer Workflows, simuliert an Open-Source-Modellen.
Data Poisoning in kontinuierlichen Lernsystemen: Analyse der Auswirkungen von manipulierten Feedback-Schleifen auf das Verhalten von KI-Agenten.
Adversarial Training und Robustheit: Erhöhung der Widerstandsfähigkeit von Modellen gegen gezielte Angriffe durch den Einsatz quelloffener Frameworks.
Sicherheitsbewertung von KI-Modellen: Automatisierte Schwachstellenanalyse und Penetration Testing von KI-Systemen mit kostenfreien Tools.
Online Hands-on Lab: Durchführung von Evasion-Angriffen auf ein Textklassifikationsmodell unter Verwendung der Adversarial Robustness Toolbox (ART) in Google Colab. Anschließende Härtung des Modells durch Adversarial Training.
Modul 6: Überwachung, Logging und Incident Response für KI-Systeme
KI-spezifisches Logging und Monitoring: Erfassung relevanter Metriken wie Prompt-Länge, Latenz und Token-Verbrauch zur Erkennung von Anomalien.
Integration in bestehende SOC-Architekturen: Anbindung von KI-Systemen an Open-Source-SIEM-Lösungen (z.B. Wazuh, Elastic Stack) zur zentralen Überwachung.
Automatisierte Alerting-Regeln: Entwicklung von Erkennungsszenarien für KI-spezifische Angriffe (z.B. massenhafte Prompt Injection Versuche) in kostenfreien Analyse-Umgebungen.
Incident Response für autonome Systeme: Erstellung von Playbooks zur Reaktion auf kompromittierte KI-Agenten, einschließlich Isolierung und forensischer Analyse.
Online Hands-on Lab: Konfiguration von KI-spezifischem Logging in einer Open-Source-Elastic-Umgebung. Erstellung von Dashboards zur Überwachung von Agenten-Aktivitäten und Definition von Alerting-Regeln für verdächtiges Verhalten.
Modul 7: Governance, Risk und Compliance (GRC) für autonome KI
Regulatorische Anforderungen an KI-Systeme: Überblick über relevante Frameworks (z.B. EU AI Act, NIST AI RMF) und deren Umsetzung in der Praxis.
Risikobewertung von KI-Anwendungsfällen: Methodiken zur Identifikation und Bewertung von Sicherheits- und Datenschutzrisiken bei der Einführung autonomer Agenten.
Erklärbarkeit und Transparenz (XAI): Einsatz von Open-Source-Tools zur Nachvollziehbarkeit von KI-Entscheidungen und zur Erfüllung von Compliance-Vorgaben.
Ethik und Bias in autonomen Systemen: Erkennung und Mitigierung von algorithmischer Voreingenommenheit durch automatisierte Audits in browserbasierten Notebooks.
Online Hands-on Lab: Durchführung eines automatisierten Bias-Audits an einem Open-Source-Datensatz mittels der Fairlearn-Bibliothek in Jupyter. Dokumentation der Ergebnisse entsprechend gängiger Compliance-Anforderungen.
Modul 8: Architektur-Design und Red Teaming von KI-Systemen
Secure-by-Design Prinzipien für KI: Entwicklung robuster Architekturen für autonome Systeme unter Berücksichtigung von Zero Trust und Defense-in-Depth.
Red Teaming von LLM-Anwendungen: Methodische Durchführung von simulierten Angriffen auf KI-Agenten zur Identifikation von Schwachstellen.
Automatisierte Sicherheits-Scans: Integration von KI-spezifischen Security-Testing-Tools in CI/CD-Pipelines unter Nutzung kostenfreier Plattformen.
Zukunftssichere KI-Architekturen: Anpassung von Sicherheitsstrategien an die rasante Entwicklung von Foundation Models und autonomen Agenten.
Online Hands-on Lab: Durchführung eines Red Teaming Assessments an einem simulierten KI-Agenten im Browser. Identifikation von Schwachstellen, Ausnutzung von Prompt Injections und anschließende Behebung der gefundenen Lücken im Architektur-Design.