Kursbeschreibung
Dieses Seminar richtet sich an Entwickler, die Fine-Tuning nicht als Experiment, sondern als wiederholbaren Engineering-Prozess aufziehen wollen. Du arbeitest entlang einer klaren Pipeline: Zieldefinition, Datenaufbau, Training, Evaluation, Deployment. Zuerst klärst du, welche Anpassung du wirklich brauchst: bessere Domänenantworten, weniger Halluzinationen in einem RAG-Setup, konsistentere Tool-Calls oder strengere Safety-Antworten. Daraus leitest du ab, ob PEFT genügt, welche Basismodelle geeignet sind und wie du die Infrastruktur dimensionierst. Im Datenblock lernst du, wie du Instruction- und Preference-Daten so strukturierst, dass sie trainierbar und auditierbar sind. Du setzt Qualitätschecks auf, minimierst Leakage, entfernst Duplikate und definierst Labeling-Regeln, die mehrere Personen konsistent anwenden können. Danach trainierst du mit LoRA/QLoRA, verstehst Token-Packing, Loss Masking und Stabilitätsparameter und baust reproduzierbare Runs mit Checkpoints. Für Preference Tuning setzt du DPO ein und lernst, wie du Beta und Sampling so wählst, dass das Modell nicht in einen engen Antwortstil kippt. Abschließend bringst du das Ergebnis in Produktion: Adapter-Merge, Quantisierung, Serving mit Batching und KV-Cache, Monitoring von Drift und Kosten sowie konkrete Maßnahmen gegen Prompt Injection und Secret-Leaks. So entsteht ein Fine-Tuning-Setup, das du im Team verantworten kannst.
Die wichtigsten Themen im Überblick
- LLM Fine-Tuning nach Use Case, Daten und Compute planen
- Llama, Mistral und Qwen nach Lizenz und Bedarf auswählen
- Instruction-Daten mit Dedup, PII und Leakage bereinigen
- SFT mit LoRA, QLoRA, Transformers und TRL trainieren
- Preference Tuning mit DPO und Guardrails umsetzen
- Modelle mit Golden Sets, LLM-Judge und RAG-Tests bewerten
- Inferenz mit vLLM, TGI, Quantisierung und Batching deployen
- Prompt Injection, Secrets und Datenabfluss absichern
Zielgruppe
- Softwareentwickler und Machine-Learning-Engineers, die Open-Source LLMs anpassen
- AI Engineers im Produktteam mit Verantwortung für Qualität und Betrieb
- Data Scientists, die SFT und Preference Tuning umsetzen wollen
- Plattform- und MLOps-Teams, die Serving, Monitoring und Releases absichern
- Alle, die Fine-Tuning reproduzierbar planen, evaluieren und betreiben wollen
Voraussetzung für die Schulung
- Solide Python-Grundlagen und Erfahrung mit CLI/Git.
- Grundverständnis von Transformer/Tokenisierung und ML-Training (Begriffe wie Loss, Epoch, Overfitting).
Kursinhalte
- Modell- und Trainingsstrategie festlegen
- Use-Case-Scoping: Chat, RAG, Tool-Use, Klassifikation
- Base Model Auswahl: Llama, Mistral, Qwen und Lizenzfallen
- Compute-Kalkulation: VRAM, Throughput, Kosten, Zeit
- PEFT vs. Full Fine-Tuning: wann sich was lohnt
- Daten, die wirklich wirken
- Instruction-Datasets: Struktur, Prompt-Formate, Systemregeln
- Qualitätssicherung: Dedup, Leakage, Toxicity, PII
- Labeling-Workflows: Guidelines, Inter-Annotator-Checks
- Data Mixing: Domain, General, Safety, Hard Negatives
- Supervised Fine-Tuning (SFT) mit PEFT
- LoRA/QLoRA: Rank, Alpha, Target Modules
- Tokenisierung, Packing, Sequence Length, Loss Masking
- Training mit Hugging Face Transformers + TRL
- Stabilität: LR-Schedules, Grad-Accumulation, Checkpoints
- Preference Tuning: DPO statt Bauchgefühl
- Pairwise Preferences: Datenschema und Sampling
- DPO-Grundidee, Beta, Overfitting auf Präferenzen
- Alternativen: ORPO, IPO, Best-of-N Sampling
- Guardrails: Ablehnungen, Policy-Style, Safety-Prompts
- Evaluation, die dich vor Überraschungen schützt
- Offline-Eval: Task-Suites, Regression Tests, Golden Sets
- LLM-as-a-Judge: Bias, Kalibrierung, Gegenchecks
- Halluzinationsmessung in RAG-Setups
- Monitoring-Metriken: Drift, Cost per Answer, Latency
- Deployment & Betrieb
- Export: Adapter-Merge, Quantisierung (GPTQ/AWQ)
- Serving: vLLM/TGI, Batching, KV-Cache, Streaming
- Security: Prompt Injection, Data Exfiltration, Secrets
- Release-Prozess: Modellkarten, Versionierung, Rollback
