Kursbeschreibung
In diesem Aufbaukurs vertiefst Du Dein Verständnis für Large Language Models und lernst, wie Du leistungsfähige KI-Anwendungen praxisnah planst, optimierst und bewertest. Du frischst zentrale Grundlagen wie Transformer, Tokenisierung, Kontextfenster und Inference auf und überträgst sie direkt auf Systemdesign, Prompting und Tool-Nutzung.
Die wichtigsten Themen im Überblick
- LLM-Architektur mit Tokenisierung und Kontextfenstern vertiefen
- Inference mit KV-Cache, Batching und Latenz gezielt planen
- Stabile RAG-Pipelines mit Embeddings und Vektordatenbanken bauen
- Retriever mit Hybrid Search und Reranking praxisnah optimieren
- Halluzinationen durch Quellenzitate und Kontextbudget senken
- Fine-Tuning mit PEFT, LoRA und QLoRA sicher einordnen
- Model Alignment mit RLHF und DPO nachvollziehen
- RAG-Qualität mit RAGAS und passenden Metriken bewerten
Zielgruppe
EntwicklerInnen, DatenwissenschaftlerInnen und KI-Interessierte, die ihre Kenntnisse im Umgang mit LLMs und Diffusionsmodellen vertiefen möchten.
Voraussetzung für die Schulung
- Grundkenntnisse analog zum Einsteigerkurs
Kursinhalte
- LLM-Architektur auffrischen und vertiefen
- Transformer-Mechanik, Tokenisierung, Kontextfenster
- Inference: Latenz, Throughput, KV-Cache, Batching
- Prompting als Systemdesign: Rollen, Tools, Policies
- RAG, die in der Praxis stabil bleibt
- Chunking-Strategien, Embeddings, Vektordatenbanken
- Retriever-Tuning: Hybrid Search, Reranking
- Quellenzitate, Kontextbudget, Halluzinationsreduktion
- Vektordatenbanken: Funktionsweise von Pinecone, Milvus oder Weaviate.
- Retrieval-Optimierung: Semantic Search vs. Hybrid Search.
- Fine-Tuning Strategien
- Full Fine-Tuning vs. Parameter-Efficient Fine-Tuning (PEFT).
- Fokus auf LoRA (Low-Rank Adaptation) und QLoRA.
- Model Alignment
- Einführung in RLHF (Reinforcement Learning from Human Feedback) und DPO (Direct Preference Optimization).
- Evaluierung
- Metriken jenseits von Benchmarks (z. B. RAGAS-Framework zur Messung der RAG-Qualität).
