Kursbeschreibung
LLM-Projekte scheitern selten an der ersten Demo, sondern an wiederkehrenden Problemen: falsches Retrieval, unklare Qualitätskriterien, Sicherheitslücken und unkontrollierte Kosten. In diesem Advanced-Seminar lernst Du, diese Stolpersteine systematisch zu vermeiden. Du arbeitest mit bewährten Patterns aus RAG, Fine-Tuning und Betrieb, ohne Dich in Theorie zu verlieren.
Du vertiefst zunächst die Stellschrauben, die Antworten spürbar verändern: Kontextfenster, Prompt-Struktur, Tool-Aufrufe, Inference-Performance. Danach baust Du eine RAG-Pipeline, die Du gezielt tunen kannst: Chunking, Embeddings, Vektordatenbank-Design, Hybrid Search und Reranking. Du lernst, wie Du Quellenzitate und Kontextbudget so einsetzt, dass Fachbereiche Ergebnisse prüfen können und Halluzinationen seltener werden.
Anschließend entscheidest Du, wann Fine-Tuning sinnvoll ist. Du planst Trainingsdaten, adressierst Rechte und Datenschutz, erkennst Leakage und vermeidest Overfitting. Du setzt SFT und LoRA/QLoRA in Relation und verstehst, welche Effekte realistisch zu erwarten sind. Ein eigener Block zeigt Dir, wie Du Qualität messbar machst: Golden Sets, Rubrics, Paarvergleiche, LLM-as-a-Judge mit bekannten Bias-Fallen sowie Online-Evaluation mit Feedback-Loops.
Zum Schluss härtest Du Dein System: Guardrails gegen Prompt Injection und Data Exfiltration, Output-Validation (z.B. JSON-Schema), Logging und Redaction für Auditability. Du gehst mit einem klaren Vorgehensmodell nach Hause, um LLM-Lösungen sicherer, überprüfbar und betreibbar umzusetzen.
Die wichtigsten Themen im Überblick
- Eigene LLMs trainieren: Daten, Architektur und Stack verstehen
- Fine-Tuning mit SFT, LoRA und QLoRA sicher einsetzen
- RAG, Alignment und Preference-Daten für Use Cases bewerten
- LLM-Evaluation mit Golden Sets und LLM-as-a-Judge aufbauen
- Guardrails gegen Prompt Injection und Datenabfluss planen
- DSGVO, Logging und Redaction für LLM-Anwendungen umsetzen
- LLM-Deployments mit vLLM, Quantisierung und APIs gestalten
- Kosten, Latenz und Qualität im produktiven Betrieb steuern
Zielgruppe
- Machine-Learning Engineers und Data Scientists mit LLM-Grundlagen
- Softwareentwicklerinnen und Softwareentwickler, die LLM-Features produktiv bauen
- AI Product Owner und Technical Leads mit Architekturverantwortung
- Security- und Compliance-nahe Rollen, die LLM-Risiken bewerten
- Für alle, die eigene LLM-Anwendungen zuverlässig testen, härten und betreiben wollen
Voraussetzung für die Schulung
- Du kennst die Grundlagen von LLMs, Prompting und typischen LLM-Workflows.
- Grundverständnis von Python oder API-basierten Integrationen ist hilfreich.
Kursinhalte
- Eigene LLMs trainieren (Wie entsteht ein LLM?)
- Ablauf zum Verständnis der Funktionsweise
- Vor- und Nachteile eines eigenen LLMs
- Trainings-Daten
- Anforderungen an Hardware, Daten etc.
- Software-Stack
- MosaicML
- Architektur, Parameter…
- Hugging faces parquet Daten (Training)
- Databricks
- Transformer
- Tokenizer
- Fine-Tuning
- Model Evaluierung und Deployment..
- Fine-Tuning und Alignment für eigene Use Cases
- Datensätze: Qualität, Leakage, Rechte, PII-Handling
- SFT vs. LoRA/QLoRA, Hyperparameter, Overfitting
- Preference-Daten, DPO-Grundidee, Safety-Trade-offs
- Evaluation, die Entscheidungen ermöglicht
- Offline-Eval: Golden Sets, Rubrics, Paarvergleiche
- LLM-as-a-Judge: Risiken, Kalibrierung, Bias
- Online-Eval: A/B, Canary, Feedback-Loops
- Guardrails, Security und Compliance
- Prompt Injection, Data Exfiltration, Tool Misuse
- Output-Validation: JSON-Schema, Policies, Moderation
- Logging, Redaction, Auditability, DSGVO-Basics
- Produktionsnahe Umsetzung
- Serving-Optionen: API, vLLM-Ansatz, Quantisierung
- Kostensteuerung: Caching, Routing, Model-Mix
- Monitoring: Drift, Quality, Latency, Token-Kosten
