vLLM-Schulung: LLM-Inferenz performant betreiben

vLLM ist eine Serving-Engine für die Inferenz großer Sprachmodelle. Sie stellt Modelle über APIs bereit und verwaltet GPU-Speicher sowie parallele Anfragen. PagedAttention, KV-Cache und Continuous Batching beeinflussen dabei, wie viele Requests verarbeitet werden und wie sich Latenz und Durchsatz entwickeln.

vLLM eignet sich, wenn ein kompatibles Open-Source-Modell über einen eigenen API-Endpunkt auf GPU-Infrastruktur bereitgestellt werden soll. Besonders relevant ist die Engine bei parallelen Requests, langen Kontexten und Anforderungen an messbaren Durchsatz.

Die benötigte GPU hängt von der Modellgröße, dem Präzisionsformat, der Kontextlänge und der Zahl paralleler Requests ab. In der Schulung leitest du den VRAM-Bedarf aus einem definierten Lastprofil ab, statt eine GPU allein anhand der Modellbezeichnung auszuwählen.

Verwendet wird ein für vLLM geeignetes Open-Source-Modell, an dem Installation, API-Serving, Quantisierung und Lasttests nachvollzogen werden. Die konkrete Modellwahl kann von der verfügbaren Laborumgebung und dem vorgesehenen GPU-Profil abhängen.

Du solltest sicher mit der Linux-Shell und HTTP-APIs umgehen sowie LLMs, Container und GPU-Ressourcen grundsätzlich verstehen. Python-Grundkenntnisse erleichtern die Client-Tests und die Auswertung der Messwerte.

Du erhältst nach der Schulung ein Zertifikat von Kebel Training als Nachweis deiner Weiterbildung. Es dokumentiert die behandelten Inhalte, ist jedoch keine offizielle Herstellerzertifizierung von vLLM.

Ob eine Inhouse-Durchführung möglich ist, klären wir anhand eurer GPU-Infrastruktur, Modellwahl und gewünschten Deployment-Umgebung. Nenne diese Eckdaten bei der Anfrage, damit der technische Zuschnitt vorab geprüft werden kann.

Ja, nach erfolgreicher Teilnahme am vLLM-Schulung: LLM-Inferenz performant betreiben erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von vLLM-Schulung: LLM-Inferenz performant betreiben .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der vLLM-Schulung: LLM-Inferenz performant betreiben findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den vLLM-Schulung: LLM-Inferenz performant betreiben als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.