Kursbeschreibung
Ein LLM auf eigener Hardware zu betreiben ist dann sinnvoll, wenn du Kontrolle über Daten, Kosten und Betriebsrisiken brauchst. In diesem Seminar baust du dir das Know-how auf, um genau das umzusetzen: von der Auswahl eines geeigneten Modells bis zum stabilen Betrieb eines Inferenzdienstes mit klaren SLAs. Du beginnst mit den Grundlagen der Architektur und leitest aus konkreten Use Cases technische Anforderungen ab. Danach sizingst du die Infrastruktur: Du kalkulierst VRAM, RAM, Storage und Netzwerk, verstehst die Auswirkungen von Quantisierung und Kontextlänge und lernst, wie du mit Messungen statt Annahmen planst. Dabei geht es nicht nur um maximale Tokens/s, sondern um verlässliche P95-Latenz, Fehlerquoten und Verhalten unter Last. Im praktischen Teil setzt du ein Deployment mit gängigen Serving-Stacks wie vLLM, llama.cpp oder TGI um. Du lernst, wie du Modelle in passenden Formaten bereitstellst, Konfigurationen versionierst und Updates so ausrollst, dass du jederzeit zurück kannst. Du implementierst OpenAI-kompatible APIs, damit Teams den Dienst schnell integrieren. Sicherheit und Governance sind fest eingebaut: Netzwerkgrenzen, Authentifizierung, Autorisierung, TLS, Logging und konkrete Maßnahmen gegen Prompt Injection und ungewollte Datenweitergabe. Zum Abschluss baust du Observability auf, definierst Runbooks und planst Kapazitätserweiterungen. Wenn du zusätzlich internes Wissen einbinden willst, setzt du eine RAG-Erweiterung um und lernst, Retrieval-Qualität und Antworttreue messbar zu machen.
Die wichtigsten Themen im Überblick
- LLM Self-Hosting on-premises sicher planen
- Hardware für LLM-Inferenz belastbar dimensionieren
- VRAM, GPU-Auslastung und Latenz präzise berechnen
- Modelle, Formate und Quantisierung passend auswählen
- LLMs mit vLLM, TGI und Kubernetes deployen
- Zugriffe mit AuthN/AuthZ, TLS und Audit Logs absichern
- Tokens/s, P95-Latenz und Tokenkosten überwachen
- RAG mit Embeddings, Vektordatenbank und Guardrails betreiben
Zielgruppe
- IT-Administratoren und Platform Engineers, die On-Prem-Services betreiben
- ML Engineers und MLOps Engineers mit Inferenz-Verantwortung
- DevOps Engineers, die Container und Kubernetes betreuen
- Security Engineers, die Datenabfluss und Zugriff absichern
- Für alle, die LLMs ohne externe API-Abhängigkeit produktiv nutzen wollen
Voraussetzung für die Schulung
- Grundkenntnisse in Linux und Container-Konzepten (Docker-Grundbegriffe)
- Hilfreich: Basiswissen zu GPUs und Netzwerken, aber nicht zwingend
Kursinhalte
- Architektur & Entscheidungsgrundlagen
- Use Cases, Datenklassen, Compliance-Treiber
- Inferenz-Stack: Runtime, Model-Format, Serving
- GPU vs. CPU, VRAM-Budget, Throughput-Latenz
- Make-or-buy: Cloud, Hybrid, On-Prem
- Hardware sizing ohne Rätselraten
- VRAM-Kalkulation: Parameter, Quantisierung, KV-Cache
- Batching, Kontextlänge, Parallelität
- Storage, RAM, PCIe, Netzwerk, Kühlung
- Messgrößen: Tokens/s, P95-Latenz, Auslastung
- Modelle & Formate für Self-Hosting
- GGUF, safetensors, Container-Images
- Quantisierung (z.B. 4-bit/8-bit) und Qualitätschecks
- Prompt-Templates, System Prompts, Tool-Use
- Modellwahl nach Sprache, Kontext, Lizenz
- Serving & Deployment
- vLLM, llama.cpp, Text Generation Inference (TGI)
- Docker/Compose und Kubernetes-Grundmuster
- Rolling Updates, Canary, Versionierung
- API-Design: OpenAI-kompatible Endpoints
- Sicherheit, Zugriff & Datenkontrolle
- Netzwerksegmentierung, Zero-Trust-Bausteine
- AuthN/AuthZ, Secrets, TLS, Audit Logs
- Prompt Injection: Risiken und Gegenmaßnahmen
- Data Residency, Protokollierung, Aufbewahrung
- Beobachtbarkeit & Betrieb
- Monitoring: GPU/CPU, VRAM, Queue, Errors
- Tracing für Latenz und Bottlenecks
- Kapazitätsplanung und Kosten pro 1.000 Tokens
- Runbooks: Incident, Rollback, Notfallplan
- RAG als produktionsnahes Add-on
- Chunking, Embeddings, Vektordatenbank-Optionen
- Retrieval-Qualität messen (Recall, Faithfulness)
- Guardrails: Quellenpflicht, Zitieren, Policies
- Offline-Indexing und Update-Strategien
