LLM Self-Hosting und Deployment Kurs

Plane, deploye und betreibe LLM-Inferenz on-premises: reproduzierbar, sicher, kostenkontrolliert.

LLM Self-Hosting und Deployment Kurs
LLM Self-Hosting und Deployment Kurs

Kursbeschreibung

  • Kurs-ID:KKC_0299
  • Kursdauer:3 Tage
  • Uhrzeit:09:00 - 16:00 Uhr
Ein LLM auf eigener Hardware zu betreiben ist dann sinnvoll, wenn du Kontrolle über Daten, Kosten und Betriebsrisiken brauchst. In diesem Seminar baust du dir das Know-how auf, um genau das umzusetzen: von der Auswahl eines geeigneten Modells bis zum stabilen Betrieb eines Inferenzdienstes mit klaren SLAs. Du beginnst mit den Grundlagen der Architektur und leitest aus konkreten Use Cases technische Anforderungen ab. Danach sizingst du die Infrastruktur: Du kalkulierst VRAM, RAM, Storage und Netzwerk, verstehst die Auswirkungen von Quantisierung und Kontextlänge und lernst, wie du mit Messungen statt Annahmen planst. Dabei geht es nicht nur um maximale Tokens/s, sondern um verlässliche P95-Latenz, Fehlerquoten und Verhalten unter Last. Im praktischen Teil setzt du ein Deployment mit gängigen Serving-Stacks wie vLLM, llama.cpp oder TGI um. Du lernst, wie du Modelle in passenden Formaten bereitstellst, Konfigurationen versionierst und Updates so ausrollst, dass du jederzeit zurück kannst. Du implementierst OpenAI-kompatible APIs, damit Teams den Dienst schnell integrieren. Sicherheit und Governance sind fest eingebaut: Netzwerkgrenzen, Authentifizierung, Autorisierung, TLS, Logging und konkrete Maßnahmen gegen Prompt Injection und ungewollte Datenweitergabe. Zum Abschluss baust du Observability auf, definierst Runbooks und planst Kapazitätserweiterungen. Wenn du zusätzlich internes Wissen einbinden willst, setzt du eine RAG-Erweiterung um und lernst, Retrieval-Qualität und Antworttreue messbar zu machen.

Die wichtigsten Themen im Überblick

  • LLM Self-Hosting on-premises sicher planen
  • Hardware für LLM-Inferenz belastbar dimensionieren
  • VRAM, GPU-Auslastung und Latenz präzise berechnen
  • Modelle, Formate und Quantisierung passend auswählen
  • LLMs mit vLLM, TGI und Kubernetes deployen
  • Zugriffe mit AuthN/AuthZ, TLS und Audit Logs absichern
  • Tokens/s, P95-Latenz und Tokenkosten überwachen
  • RAG mit Embeddings, Vektordatenbank und Guardrails betreiben

Zielgruppe

  • IT-Administratoren und Platform Engineers, die On-Prem-Services betreiben
  • ML Engineers und MLOps Engineers mit Inferenz-Verantwortung
  • DevOps Engineers, die Container und Kubernetes betreuen
  • Security Engineers, die Datenabfluss und Zugriff absichern
  • Für alle, die LLMs ohne externe API-Abhängigkeit produktiv nutzen wollen

Voraussetzung für die Schulung

  • Grundkenntnisse in Linux und Container-Konzepten (Docker-Grundbegriffe)
  • Hilfreich: Basiswissen zu GPUs und Netzwerken, aber nicht zwingend

Kursinhalte

  • Architektur & Entscheidungsgrundlagen
    • Use Cases, Datenklassen, Compliance-Treiber
    • Inferenz-Stack: Runtime, Model-Format, Serving
    • GPU vs. CPU, VRAM-Budget, Throughput-Latenz
    • Make-or-buy: Cloud, Hybrid, On-Prem
  • Hardware sizing ohne Rätselraten
    • VRAM-Kalkulation: Parameter, Quantisierung, KV-Cache
    • Batching, Kontextlänge, Parallelität
    • Storage, RAM, PCIe, Netzwerk, Kühlung
    • Messgrößen: Tokens/s, P95-Latenz, Auslastung
  • Modelle & Formate für Self-Hosting
    • GGUF, safetensors, Container-Images
    • Quantisierung (z.B. 4-bit/8-bit) und Qualitätschecks
    • Prompt-Templates, System Prompts, Tool-Use
    • Modellwahl nach Sprache, Kontext, Lizenz
  • Serving & Deployment
    • vLLM, llama.cpp, Text Generation Inference (TGI)
    • Docker/Compose und Kubernetes-Grundmuster
    • Rolling Updates, Canary, Versionierung
    • API-Design: OpenAI-kompatible Endpoints
  • Sicherheit, Zugriff & Datenkontrolle
    • Netzwerksegmentierung, Zero-Trust-Bausteine
    • AuthN/AuthZ, Secrets, TLS, Audit Logs
    • Prompt Injection: Risiken und Gegenmaßnahmen
    • Data Residency, Protokollierung, Aufbewahrung
  • Beobachtbarkeit & Betrieb
    • Monitoring: GPU/CPU, VRAM, Queue, Errors
    • Tracing für Latenz und Bottlenecks
    • Kapazitätsplanung und Kosten pro 1.000 Tokens
    • Runbooks: Incident, Rollback, Notfallplan
  • RAG als produktionsnahes Add-on
    • Chunking, Embeddings, Vektordatenbank-Optionen
    • Retrieval-Qualität messen (Recall, Faithfulness)
    • Guardrails: Quellenpflicht, Zitieren, Policies
    • Offline-Indexing und Update-Strategien

Wähle aus 4 Terminen:

Ergebnisse filtern
LLM Self-Hosting und Deployment Kurs
11.01. - 13.01.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.190 € netto (1.416,10 € brutto)

Datum und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

LLM Self-Hosting und Deployment Kurs
22.02. - 24.02.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.190 € netto (1.416,10 € brutto)

Datum und Uhrzeit

22.02. - 24.02.2027
09:00 - 16:00 Uhr

LLM Self-Hosting und Deployment Kurs
19.04. - 21.04.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.190 € netto (1.416,10 € brutto)

Datum und Uhrzeit

19.04. - 21.04.2027
09:00 - 16:00 Uhr

LLM Self-Hosting und Deployment Kurs
07.06. - 09.06.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.190 € netto (1.416,10 € brutto)

Datum und Uhrzeit

07.06. - 09.06.2027
09:00 - 16:00 Uhr

  • Firmenschulung

    In einem unserer 21 Schulungszentren oder Live Online mit individuellen Inhalten

    • Passgenaue Inhalte nach deinem Bedarf
    • Individuelle Terminplanung
    • Hybride und Modulare Trainingsgestaltung
    • Kostenvorteil für dein Team
    Firmenschulung anfragen
  • Inhouseschulung

    Wir kommen zu dir ins Unternehmen und planen eure Inhouseschulung

    • Inhalte auf euch zugeschnitten
    • Termine nach euren Bedürfnissen
    • Vertraute Umgebung, kein Reiseaufwand
    Inhouseschulung anfragen
  • Offene Termine

    Du benötigst ein Angebot für unsere offenen Termine oder einer der Termine passt dir nicht? Einfach hier anfragen

    • Feste Termine, im Voraus planbar
    • An unseren 21 Standorten oder Live-Online
    • Austausch mit anderen Teilnehmenden
    • Kleine Lerngruppen von bis zu 8 Personen
    Offene Schulung anfragen

Verwandte Kurse

  • DeepSeek Kurs: Einsatz und Self-Hosting

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 21.12.2026

    Weitere Kursinfos
eKomi Seminarbewertungen für www.kebel.de

Geprüfte Weiterbildungsqualität: eKomi Seminarbewertungen von Kebel Training

Unsere Kebel Training GmbH setzt bei der Qualitätssicherung auf unabhängige eKomi-Kundenbewertungen, um die Zufriedenheit nach jeder Schulung transparent abzubilden.

Mit über 1.800 verifizierten Bewertungen innerhalb der letzten 12 Monate gehört das Unternehmen zu den bestbewerteten Anbietern für IT-, KI- und Soft-Skills-Weiterbildungen im deutschsprachigen Raum.

Nach jedem durchgeführten Seminar erhalten alle Teilnehmenden die Einladung, das Training freiwillig und anonym über das unabhängige Bewertungsportal eKomi zu beurteilen.

Zum Bewertungsportal

Kebel Training GmbH wurde im Rahmen einer bundesweiten Kundenbefragung mit dem Award „Deutschlands Beste Business-Partner 2026“ im Bereich IT-Weiterbildung ausgezeichnet. Die Auszeichnung würdigt B2B-Unternehmen auf Grundlage der Erfahrungen und Bewertungen ihrer Kunden.

Ausgezeichnete IT-Weiterbildung: Kebel Training zählt zu „Deutschlands Beste Business-Partner 2026“

Die Kebel Training GmbH wurde im Rahmen einer bundesweiten Kundenbefragung mit dem Siegel „Deutschlands Beste Business-Partner 2026“ in der Kategorie IT-Schulungs- & Zertifizierungsanbieter ausgezeichnet. Im Ranking des DUP UNTERNEHMER-Magazins und des Deutschen Instituts für Service-Qualität (DISQ) vom 13. August 2026 erreichte das Unternehmen den 3. Platz. Die Auszeichnung basiert auf unabhängigen Kundenbewertungen und bestätigt die hohe Service- und Trainingsqualität für Geschäftskunden in ganz Deutschland. Als Weiterbildungspartner unterstützt Kebel Training Unternehmen, Fachkräfte und Teams dabei, Software-Lösungen im Arbeitsalltag effizient einzusetzen. Das Kursportfolio umfasst über 1.200 praxisorientierte Seminare und offizielle Zertifizierungen – darunter Schwerpunkte in den Bereichen:

  • Microsoft-Schulungen: Von Microsoft 365, MS-Office-Anwendungen und Power BI bis hin zu Azure Cloud, Windows Server und IT-Security.
  • KI-Schulungen: Ob Grundlagen oder vertiefende Themen – unsere KI Schulungen, z.B. in MS Copilot oder ChatGPT, unterstützen Dich dabei, künstliche Intelligenz kompetent und verantwortungsvoll in Deinem beruflichen Umfeld einzusetzen.
  • SAP-Schulungen:  Im Fokus stehen u. a. praxisnahe Szenarien aus Finance, Controlling, Logistik, Produktion, HR, Reporting und Analytics.
  • DATEV-Seminare: Gezielte Weiterbildungen für Finanzbuchhaltung, Lohnabrechnung, Jahresabschluss und digitale Kanzleiprozesse.
  • Autodesk-Trainings: Spezialisierte CAD- und BIM-Kurse z. B. in AutoCAD, Revit, Inventor und Fusion 365.
  • Soft Skills Seminare: Hierbei handelt es sich um soziale Kompetenzen bzw. soziale Intelligenz wie Teamfähigkeit, ein gutes Gedächtnis, rhetorische Fähigkeiten, Know-how im Projekt-Management und kommunikative Kompetenz.

Warum Unternehmen und Kunden auf unser Kebel Team setzen?

Die Top-Platzierung beim Business-Partner-Award 2026 spiegelt die konsequente Ausrichtung auf den Lernerfolg der Teilnehmenden wider. Kunden profitieren von klaren Qualitätsstandards:

  • 100 % Durchführungsgarantie: Viele Kurse sind mit Garantie-Terminen gekennzeichnet. Das bedeutet: Die Schulung findet unabhängig von der Teilnehmerzahl statt. Termine ohne Garantie können verschoben werden, falls die Mindestteilnehmerzahl nicht erreicht wird.
  • Kleine Lerngruppen: Mit maximal 2 bis 8 Teilnehmenden bleibt genügend Raum für individuelle Fragen und Praxisbeispiele.
  • Maximale Flexibilität: Unsere Trainings sind an 21 Standorten deutschlandweit in Präsenz, als Live-Online-Seminar, als hybride Veranstaltung oder als maßgeschneiderte Inhouse-Schulung direkt im Unternehmen vor Ort buchbar.
  • Erfahrene Trainer und Trainerinnen aus der Praxis vermitteln Wissen verständlich und direkt anwendbar.

FAQ

Du lernst, wie du Large-Language-Models auf eigener Infrastruktur, in der Cloud oder hybrid betreibst. Der Kurs behandelt Architekturentscheidungen, Hardware-Sizing, Modellformate, Serving, Sicherheit, Monitoring und ein produktionsnahes RAG-Setup.

Du brauchst Grundkenntnisse in Linux sowie ein Verständnis für Container-Konzepte und Docker-Grundbegriffe. Basiswissen zu GPUs und Netzwerken hilft, ist aber nicht zwingend erforderlich.

Im Kurs berechnest du VRAM-Bedarf anhand von Parametern, Quantisierung, KV-Cache, Kontextlänge und Parallelität. Zusätzlich geht es um Messgrößen wie Tokens pro Sekunde, P95-Latenz und Auslastung.

Du arbeitest mit Formaten wie GGUF, safetensors und Container-Images. Für das Serving behandelt der Kurs unter anderem vLLM, llama.cpp und Text Generation Inference.

Der Kurs zeigt Entscheidungsgrundlagen für Make-or-buy, Datenklassen, Compliance-Treiber und Betriebsmodelle. So bewertest du, welche Architektur zu Datenschutz, Performance und Betrieb passt.

Behandelt werden Netzwerksegmentierung, Authentifizierung, Autorisierung, Secrets, TLS und Audit-Logs. Außerdem lernst du Risiken durch Prompt-Injection und passende Gegenmaßnahmen kennen.

Der Kurs behandelt Monitoring für GPU, CPU, VRAM, Queues und Fehler sowie Tracing für Latenz und Bottlenecks. Dazu kommen Kapazitätsplanung, Kosten pro 1.000 Tokens und Runbooks für Incidents und Rollbacks.

Der Kurs dauert 3 Tage. In dieser Zeit werden Architektur, Deployment, Sicherheit, Betrieb und RAG als produktionsnahes Add-on strukturiert behandelt.

Ja, nach erfolgreicher Teilnahme am LLM Self-Hosting und Deployment Kurs erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von LLM Self-Hosting und Deployment Kurs .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der LLM Self-Hosting und Deployment Kurs findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den LLM Self-Hosting und Deployment Kurs als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.

Name