Kursbeschreibung
Das Seminar vermittelt Dir eine praxisnahe Methode, um KI in Defense-Anwendungen systematisch zu testen, bevor ein Angreifer es tut. Du arbeitest entlang eines klaren Zyklus: Bedrohungsmodell erstellen, Angriffsflächen priorisieren, Red-Team-Tests ausführen, Findings bewerten, Defense-Maßnahmen implementieren, Wirksamkeit nachmessen und die Ergebnisse auditierbar dokumentieren. Dabei steht nicht „KI als Blackbox“ im Mittelpunkt, sondern die konkrete Systemintegration aus Datenpipeline, Modell, Schnittstellen und Betrieb. Du lernst typische Angriffsmuster aus Adversarial ML: Evasion-Angriffe auf Vision- und Sensorik-Workflows, Poisoning über Trainingsdaten oder Feedback-Kanäle sowie Privacy-Angriffe, die sensible Informationen aus Modellen ableiten können. Für LLM-basierte Systeme trainierst Du Prompt Injection über Dokumente und RAG, Jailbreak-Strategien, Mehrsprachigkeits-Tricks und die Bewertung von Halluzinationen als Sicherheitsrisiko, insbesondere wenn Ausgaben in Entscheidungsunterstützung oder technische Prozesse einfließen. Im Defense-Teil setzt Du auf Maßnahmen, die sich im Betrieb bewähren: Guardrails und Policy Enforcement, Output-Filter, Rate Limits, sichere Berechtigungen, Zero-Trust-Integration, kontrollierte Modellversionierung und Monitoring gegen Drift, Abuse und Anomalien. Du entwickelst Severity Scoring und Abnahmekriterien, die zu Governance und Change Management passen. Nach dem Seminar kannst Du Red-Team-Tests planen, Ergebnisse nachvollziehbar kommunizieren und Schutzmaßnahmen so gestalten, dass sie überprüfbar und wiederholbar wirken.
Die wichtigsten Themen im Überblick
- AI Red Teaming für Defense-Systeme praxisnah anwenden
- KI-Bedrohungsmodelle mit Mission Impact erstellen
- Adversarial ML in Sensorik und Vision realistisch testen
- Prompt Injection in RAG, Tools und Lagebildern prüfen
- Poisoning, Evasion und Model Inversion sicher erkennen
- Supply-Chain-Risiken bei Modellen und GPU-Stacks bewerten
- Guardrails, Monitoring und Rate Limits wirksam nachweisen
- Findings und Risk Register auditierbar dokumentieren
Zielgruppe
- Security Engineers und Cybersecurity-Verantwortliche in Defense-Organisationen
- KI- und ML-Engineers, die Modelle in kritischen Systemen betreiben
- Systemarchitekten und Integrationsverantwortliche für Sensorik, Datenpipelines und APIs
- GRC-, Risk- und Compliance-Funktionen mit KI-Prüfaufträgen
- Alle, die KI-Risiken im Rüstungsbereich realistisch testen und belastbar absichern wollen
Voraussetzung für die Schulung
- Grundverständnis von IT-Security und gängigen Bedrohungsmodellen
- Basiswissen zu ML/LLM-Konzepten und Systemintegration ist hilfreich
Kursinhalte
- Bedrohungsmodell für KI im Defense-Kontext
- Angriffsflächen: Daten, Modelle, Schnittstellen, Operator
- Mission Impact statt nur Modellmetriken
- Threat Modeling mit Assets, Trust Boundaries
- Adversarial ML: Angriffe, die wirklich passieren
- Evasion: adversarial examples in Vision, Sensorik
- Poisoning: Trainingsdaten und Feedback-Kanäle
- Model Inversion und Membership Inference
- LLM-Red-Teaming für Einsatz- und Lagebilder
- Prompt Injection über Tools, RAG, Dokumente
- Jailbreaks, Mehrsprachigkeit, indirekte Angriffe
- Halluzinationen als Sicherheits- und Haftungsrisiko
- Supply-Chain- und Integrationsrisiken
- Third-Party-Modelle, Updates, Model Registry
- Abhängigkeiten: Frameworks, Container, GPU-Stacks
- Backdoors und Trojaning erkennen
- Defense Engineering: Schutzmaßnahmen mit Nachweis
- Input Sanitization, Robustness Checks, Rate Limits
- Guardrails, Policy Enforcement, Output Filtering
- Monitoring: Drift, Abuse, Anomalien, Telemetrie
- Testdesign, Metriken und Abnahme
- Red-Team-Testfälle, Coverage, Severity Scoring
- Reproduzierbarkeit, Testdatenhygiene, Logging
- Abnahmekriterien und Sicherheitsargumentation
- Governance, Compliance und sichere Betriebsmodelle
- Rollen, Freigaben, Change Management
- Dokumentation: Risk Register, Findings, Maßnahmenplan
- Secure Deployment: Air-Gap, On-Prem, Zero Trust
