Kursbeschreibung
In vielen Organisationen entsteht ein Bruch zwischen Data Science und Betrieb: Modelle werden gebaut, aber der Weg in eine stabile, skalierbare Bereitstellung ist unklar. Dieses Seminar schließt diese Lücke mit einem praxisnahen Workflow für Docker und Kubernetes. Du startest mit der Containerisierung einer KI-Anwendung, typischerweise einer Inferenz-API. Dabei lernst du, wie du Images so strukturierst, dass sie wartbar bleiben: sinnvolle Base-Images, sauberes Layering, Caching-Strategien und ein Dependency-Setup, das reproduzierbare Builds ermöglicht. Du definierst Healthchecks, Logging und Konfiguration, ohne Geheimnisse oder Umgebungsdetails in das Image zu schreiben. Ein Schwerpunkt ist GPU-Betrieb: Du verstehst die Abhängigkeiten zwischen CUDA-Version, Treiber und Runtime, setzt die NVIDIA Container Runtime korrekt ein und lernst, wie du GPU-Ressourcen im Cluster anforderst. Anschließend bringst du den Service nach Kubernetes: Deployments, Services und Ingress, ergänzt um Readiness/Liveness, damit Rollouts kontrolliert laufen. Du arbeitest mit ConfigMaps und Secrets, planst Autoscaling-Grundlagen und setzt Requests und Limits so, dass Kapazität und Kosten nachvollziehbar bleiben. Für Modellupdates lernst du Release-Strategien, die Risiko messbar machen: Immutable Images, Registry-Strategien, Versionierung und Canary- oder Blue-Green-Releases. Dazu kommen Muster für Batch-Inferenz über Jobs und geplante Ausführungen. Abgerundet wird der Kurs durch Security und Supply Chain mit Image-Scanning, SBOM und Least Privilege sowie durch Observability, damit du Latenz, Durchsatz und Fehlerquoten im Blick behältst und im Incident-Fall sauber zurückrollen kannst.
Die wichtigsten Themen im Überblick
- KI-Apps mit Docker und Podman sicher containerisieren
- Reproduzierbare Images für Inferenz und Training erstellen
- GPU-Container mit NVIDIA Runtime und CUDA betreiben
- Kubernetes Deployments für KI-Services zuverlässig umsetzen
- FastAPI-Inferenz-APIs skalierbar im Cluster bereitstellen
- Rollouts mit Readiness, Liveness und HPA absichern
- Security mit Rootless, SBOM und Secrets praxisnah umsetzen
- Latenz, Throughput, Logs und Rollbacks im Betrieb überwachen
Zielgruppe
- ML Engineers und Data Scientists mit Betriebsverantwortung
- DevOps Engineers und Platform Engineers, die KI-Workloads integrieren
- Softwareentwicklerinnen und Softwareentwickler, die Inferenz-APIs bereitstellen
- IT-Architektinnen und IT-Architekten, die Deployment-Standards definieren
- Alle, die KI-Anwendungen zuverlässig als Container im Cluster ausrollen und betreiben wollen
Voraussetzung für die Schulung
- Grundkenntnisse in Linux/CLI und Container-Grundlagen sind hilfreich.
- Erste Berührung mit Kubernetes oder Cloud-Networking ist von Vorteil, aber nicht zwingend.
Kursinhalte
- Container-Setup für KI-Workloads
- Docker-Images für Inferenz und Training: Base-Images, Layering, Caching
- Python-Abhängigkeiten reproduzierbar: Wheels, Lockfiles, Build-Strategien
- Modellartefakte und Daten: Mounts, Volumes, Object Storage Patterns
- Healthchecks, Logging und Konfiguration per Environment
- Performance und GPU in Containern
- NVIDIA Container Runtime: Voraussetzungen und typische Stolperstellen
- CUDA-kompatible Images und Treiber-Matrix verstehen
- Batching, Concurrency und Warmup für Inferenz
- Ressourcenlimits: CPU, RAM, GPU und IO sinnvoll setzen
- Kubernetes-Grundlagen für KI-Services
- Pods, Deployments, Services, Ingress: was du wirklich brauchst
- ConfigMaps und Secrets: Konfiguration ohne Image-Neubau
- Readiness/Liveness: saubere Rollouts ohne Ausfälle
- Autoscaling-Grundlagen: HPA, Requests und Limits
- Deployment-Muster für Modelle und APIs
- REST/gRPC Inferenz-API containerisieren (z. B. FastAPI)
- Modellversionierung: Tags, Immutable Images, Registry-Strategie
- Blue-Green und Canary Releases für Modellwechsel
- Job-Workloads: Batch-Inferenz und Scheduled Jobs
- Security, Compliance und Supply Chain
- Least Privilege: Rootless, Capabilities, Pod Security
- Image-Scanning und SBOM: Risiken sichtbar machen
- Secrets Handling: keine Keys im Image, Rotation verstehen
- Netzwerk-Policies und sichere Ingress-Konfiguration
- Observability und Betrieb
- Metriken für KI: Latenz, Throughput, Fehler, Queueing
- Logs und Traces: Debugging von Inferenzproblemen
- Rollbacks und Incident-Playbooks für Deployments
- Kosten- und Kapazitätsdenken: Node Pools, GPU-Auslastung
