Kursbeschreibung
Viele Organisationen führen GenAI-Tools ein, ohne die Sicherheitsarchitektur an die neuen Angriffspfade anzupassen. Dieses Seminar zeigt dir, wie du bösartige KI als konkrete Bedrohung behandelst und daraus belastbare Kontrollen ableitest. Du unterscheidest zwischen KI als Angriffsverstärker im Social Engineering und KI als direkte Angriffsfläche in LLM-, RAG- und Agenten-Systemen. So kannst du Risiken priorisieren, statt pauschal „KI zu verbieten“ oder blind zu vertrauen. Du arbeitest an Szenarien, in denen Angreifer mit KI überzeugende Identitäten aufbauen, interne Prozesse ausnutzen und Entscheidungen beeinflussen. Dazu gehören Business Email Compromise, Deepfake-Voice-Calls, Pretexting und gezielte Manipulation von Support-Workflows. Parallel vertiefst du technische Angriffe wie Prompt-Injection, Tool-Abuse und Data Poisoning. Du lernst, welche Designfehler diese Angriffe begünstigen: fehlende Trennung von Datenklassen, zu breite Berechtigungen, unkontrollierte Quellen in RAG, keine Auditability bei Tool-Calls und unzureichende Telemetrie. Im zweiten Teil entwickelst du ein umsetzbares Schutzkonzept: Guardrails und Filter, sichere Agentenrechte, Freigaben für Actions, DLP- und Secrets-Strategien sowie Monitoring, das sicherheitsrelevante Muster erkennt. Du erstellst SOC-taugliche Playbooks für Triage und Eskalation und definierst, welche Beweise du im Incident Response sichern musst, inklusive Prompt-Verläufen, Kontext, Quellen und Tool-Aufrufen. Abschließend setzt du Governance-Bausteine auf, die GenAI-Use-Cases kontrollierbar machen: Risikoanalyse, Policies, Lieferkettenprüfung und messbare Sicherheitsanforderungen für Anbieter und interne Teams.
Die wichtigsten Themen im Überblick
- WormGPT, FraudGPT und bösartige LLMs sicher erkennen
- Prompt-Injection in Chatbots, RAG und Agenten stoppen
- LLM- und RAG-Systeme mit Guardrails wirksam härten
- KI-Phishing, Deepfakes und Social Engineering analysieren
- Detection-Logik für GenAI-TTPs und Anomalien bauen
- Prompts, Tool-Calls, API-Keys und Secrets absichern
- KI-Missbrauch mit Logs und Playbooks untersuchen
- GenAI-Risiken für Governance und Compliance bewerten
Zielgruppe
- SOC-Analystinnen und SOC-Analysten, Incident Responder
- Security Engineers, Detection Engineers, Threat Hunter
- IAM-, E-Mail- und Endpoint-Security-Verantwortliche
- Architektinnen und Architekten für GenAI, RAG und Agenten
- Für alle, die KI-gestützte Angriffe erkennen, abwehren und untersuchen wollen
Voraussetzung für die Schulung
- Grundkenntnisse in IT-Security, gängigen Angriffsmethoden und Logging (z. B. E-Mail, IdP, EDR).
- Sicherer Umgang mit LLMs
- Hilfreich sind erste Berührungspunkte mit RAG, aber nicht zwingend.
Kursinhalte
- Bedrohungsbild: bösartige KI in der Praxis
- WormGPT, FraudGPT und ähnliche Modelle: Fähigkeiten und Grenzen
- Angriffsketten mit GenAI: von Recon bis Exfiltration
- Warum klassische Security-Kontrollen oft zu spät greifen
- Prompt-Injection, Data Poisoning, Model Abuse
- Prompt-Injection in Chatbots, RAG und Agenten
- Indirekte Prompt-Injection über Dateien, Links, Tickets
- Poisoning von Trainingsdaten und Wissensbasen
- Abuse von Tools, Plugins und Actions
- KI-gestütztes Phishing und Social Engineering
- Business Email Compromise mit LLM-Textqualität
- Deepfake Voice: Angriffsabläufe und Erkennungsmerkmale
- Pretexting, Smishing, MFA-Fatigue, Helpdesk-Bypass
- Detection Engineering für GenAI-Angriffe
- Log-Quellen: E-Mail, IdP, EDR, Proxy, DLP, Chatbot-Telemetrie
- Signale und Heuristiken: Schreibmuster, TTPs, Anomalien
- Playbooks für SOC: Triage, Evidence, Eskalation
- Hardening von LLM- und RAG-Systemen
- Input/Output-Filter, Content Policies, Guardrails
- Secrets-Schutz: Token, API-Keys, Prompt-Leaks verhindern
- RAG-Sicherheit: Quellenbewertung, Chunking, Zitierpflicht
- Least Privilege für Agenten und Tool-Aufrufe
- Incident Response und Forensik bei KI-Missbrauch
- Beweissicherung: Prompts, Kontexte, Tool-Calls, Artefakte
- Root Cause: Lücke im Workflow statt nur im Modell
- Post-Incident Maßnahmen: Controls, Training, Monitoring
- Governance, Risiko und Compliance
- Risikobewertung für GenAI-Use-Cases (Threat Modeling)
- Policy-Design: erlaubte Daten, erlaubte Tools, Freigaben
- Lieferkette: Anbieterprüfung, Datenflüsse, Verträge
