Kursbeschreibung
Die vLLM-Schulung führt ein GPU-basiertes LLM-Deployment bis zu einem getesteten Serving-Endpunkt. Du installierst vLLM in einer isolierten Linux-Umgebung, stellst ein Open-Source-Modell über den vLLM-Server bereit und prüfst die OpenAI-kompatible API mit Chat-Completions und Streaming. Das Ergebnis ist kein reiner Prototyp: Am Ende stehen gemessene Werte für Durchsatz, Time to First Token, Token-Latenz und VRAM-Auslastung sowie dokumentierte Startparameter für ein definiertes Lastprofil.
An drei Tagen untersuchst du, wie Continuous Batching, KV-Cache und PagedAttention das Serving-Verhalten beeinflussen. Lasttests zeigen, wie sich parallele Requests und lange Kontexte auf Antwortzeit und GPU-Speicher auswirken. Bei der Quantisierung vergleichst du Modellvarianten anhand ihres Speicherbedarfs, ihres Antwortverhaltens und des nötigen Prüfaufwands. Aus der Modellgröße, der Kontextlänge und der Ziellatenz leitest du anschließend ein begründetes GPU-Sizing ab.
Monitoring gehört zum Deployment. Prometheus-Metriken, die GPU-Auslastung und Server-Logs zeigen, wann ein Endpunkt an seine Grenzen stößt. Auch Fehlerraten und Health-Checks weisen auf diese Grenzen hin. In der kleinen Gruppe von 2 bis 8 Personen kannst du Konfigurationen nachvollziehen, Messwerte vergleichen und Fehler systematisch untersuchen. Weitere technische KI-Themen findest du bei den KI-Schulungen für Entwickler und Administratoren. Als Anwendungsschicht für den bereitgestellten Endpunkt eignet sich anschließend die Open-WebUI-Schulung für Self-Hosted-KI. Frag den passenden Termin für dich oder dein Team an und nenne dabei Modell, GPU-Umgebung und gewünschtes Lastprofil.
Die wichtigsten Themen im Überblick
- vLLM-Endpunkt selbst bereitstellen
- Latenz und Durchsatz messen
- VRAM-Bedarf dokumentieren
- GPU-Sizing aus Lastprofilen ableiten
- Serving mit Metriken überwachen
Zielgruppe
- Fachkräfte in der KI-Entwicklung mit LLM-Projekten
- MLOps-Teams für selbst gehostete Modelle
- Plattform-Teams mit GPU-Infrastruktur
- Fachkräfte nach dem LLM-Self-Hosting-Training zur Vertiefung der Inferenz
Voraussetzung für die Schulung
- Sicherer Umgang mit Linux-Shell und HTTP-APIs
- Grundkenntnisse in Python und Container-Technik
- Grundverständnis von LLMs und Kontextlängen
- Kenntnisse über GPU-Ressourcen, VRAM und CUDA
- Bei fehlender GPU-Erfahrung empfiehlt sich die Linux-Administration für KI-Workloads mit GPUs
Kursinhalte
vLLM-Architektur und Labor-Setup
- vLLM-Runtime im Serverbetrieb
- Isolierte Installation unter Linux
- Modellbezug und Tokenizer-Konfiguration
- Open-Source-Modell als Serving-Endpunkt
OpenAI-kompatible Serving-API
- Chat-Completions über HTTP-Clients
- Streaming von generierten Tokens
- Sampling-Parameter und Antwortverhalten
- Startfehler und erneutes Laden von Modellen
Performance-Mechaniken der LLM-Inferenz
- PagedAttention im GPU-Speicherprofil
- KV-Cache bei langen Kontexten
- Continuous Batching unter Last
- Parallele Requests im Scheduler
Lasttests und Quantisierung
- Time to First Token
- Token-Latenz und Gesamtdurchsatz
- Präzisionsformate und Speicherbedarf
- Prompt-basierte Qualitätsprüfung
- Benchmarks für quantisierte Modellvarianten
GPU-Sizing und Deployment
- VRAM-Bedarf nach Modellgröße
- Kontextlänge und parallele Requests
- Tensor-Parallelismus auf mehreren GPUs
- Out-of-Memory-Fehler analysieren
- Startparameter für produktionsnahe Endpunkte
Monitoring und Fehleranalyse
- Prometheus-Metriken des vLLM-Servers
- GPU-Auslastung und Speichernutzung
- Logs für Fehler und Timeouts
- Fehlerraten unter Last
- Health-Checks für API-Endpunkte
