Kursbeschreibung
In diesem Seminar lernst du, wie Angriffe auf Large Language Models entstehen, wie du Prompt Injections und Jailbreaks erkennst und wie du KI-Anwendungen wirksam absicherst. Du verstehst die wichtigsten Angriffsflächen von Transformern, Tokenizern, RAG-Systemen und LLM-APIs und ordnest sie sauber in den Lifecycle moderner KI-Anwendungen ein.
Die wichtigsten Themen im Überblick
- LLM-Architektur und Angriffsflächen sicher einordnen
- Prompt Injection und Jailbreaking zuverlässig erkennen
- RAG-Systeme gegen indirekte Prompt Injection absichern
- LLM-APIs mit praxisnahem Red Teaming testen
- Guardrails, Filter und LLM-Firewalls wirksam einsetzen
- OWASP Top 10 für Large Language Models anwenden
- Adversariale Eingaben und Datenabfluss erkennen
- Monitoring und Logging für KI-Anwendungen planen
Zielgruppe
- IT-Sicherheitsbeauftragte und Penetration Tester
- Softwareentwickler und Data Scientists im KI-Umfeld
- DevSecOps-Ingenieure
- Für alle, die KI-Anwendungen nicht nur entwickeln, sondern vor gezielten Manipulationen schützen müssen.
Voraussetzung für die Schulung
- Grundlegende Kenntnisse in Python
- Verständnis der Funktionsweise von LLMs (Prompts, Context Window)
- Erfahrung mit APIs (REST) ist hilfreich
Kursinhalte
- Grundlagen der LLM-Architektur und Angriffsflächen
- Funktionsweise von Transformern und Tokenizern aus Sicherheitsperspektive
- Unterschiede zwischen klassischer AppSec und LLM-Security
- Überblick über die OWASP Top 10 für Large Language Models
- Lifecycle einer KI-Anwendung und kritische Punkte
- Prompt Injection und Jailbreaking (Red Teaming)
- Direkte Prompt Injection (DAN, Developer Mode, Obfuscation)
- Jailbreaking-Techniken zur Umgehung von Sicherheitsrichtlinien
- Automatisierte Angriffe auf LLM-APIs
- Payload-Generierung und Token-Manipulation
- Indirect Prompt Injection und RAG-Security
- Angriffsvektoren über externe Datenquellen (E-Mails, Websites)
- Manipulation von Retrieval Augmented Generation (RAG) Systemen
- Versteckte Instruktionen in Dokumenten und Bildern
- Exfiltration von Unternehmensdaten durch Prompt-Hacking
- Abwehrstrategien und Defense-in-Depth
- Implementierung von Input- und Output-Filtern
- Einsatz von LLM-Firewalls und Guardrails (z. B. NVIDIA NeMo)
- Prompt-Härtung und System-Prompt-Design
- Erkennung von adversarialen Eingaben
- Governance und sicherer Betrieb
- Monitoring und Logging von LLM-Interaktionen
- Rate Limiting gegen Model Denial of Service
- Richtlinien für den sicheren Einsatz von Generativer KI
- Aufbau einer internen Red Teaming Strategie
