Kursbeschreibung
In vielen Organisationen scheitert KI nicht am Modell, sondern an der Infrastrukturentscheidung: falsche GPU-Strategie, zu langsame Datenpfade, Security-Auflagen, die erst kurz vor Go-live auftauchen, oder Kosten, die nach dem Pilot explodieren. In diesem Seminar vergleichst Du AWS, Azure und GCP aus der Perspektive von Betrieb und Skalierung. Du lernst, welche Plattform-Services Dir wirklich helfen und wo Du besser auf portable Bausteine wie Container, standardisierte Images und klare Schnittstellen setzt. Du arbeitest dich entlang der KI-Lieferkette: vom Datenzugriff über Training und Fine-Tuning bis zum Model Serving. Dabei bewertest Du Compute-Optionen, Cluster-Management, Scheduling und die typischen Anforderungen an Netzwerkdurchsatz und Latenz. Du lernst, wie Du Storage-Entscheidungen für Objekt-, Block- und File-Storage triffst, wie Caching und Datenlokalität Trainingszeiten reduzieren und wie Verschlüsselung und Schlüsselmanagement sauber integriert werden. Für den produktiven Betrieb setzt Du Security und Governance konkret um: IAM-Rollen, Egress-Kontrolle, Private Connectivity, Secret Management und Umgebungstrennung. Im MLOps-Teil baust Du eine Pipeline-Logik auf, die Experimente nachvollziehbar macht, Modelle versioniert und Deployments kontrolliert ausrollt. Für RAG und LLM-Inferenz vergleichst Du Vektorsuche, Skalierung, Batching, Quantisierung und Guardrails. Zum Abschluss übersetzt Du Technik in FinOps: Commitments, Right-Sizing, Auslastungssteuerung und Metriken wie Cost per Token. So kannst Du eine KI-Cloud-Plattform auswählen, die fachlich, organisatorisch und finanziell tragfähig ist.
Zielgruppe
- Cloud Architects und Solution Architects mit KI-Verantwortung
- ML Engineers, MLOps Engineers und Platform Engineers
- IT-Security und Governance-Verantwortliche für KI-Workloads
- IT-Leitung, Product Owner und FinOps, die Plattform-Entscheidungen absichern
- Für alle, die KI-Workloads in der Cloud belastbar planen, vergleichen und betreiben wollen
Voraussetzung für die Schulung
- Grundverständnis von Cloud-Konzepten (Netzwerk, IAM, Compute, Storage).
- Erste Berührung mit ML/LLM-Workloads oder MLOps ist hilfreich, aber nicht zwingend.
Kursinhalte
- Plattform-Entscheidung: Was wirklich zählt
- Workload-Typen: Training, Fine-Tuning, Inferenz, RAG
- Entscheidungskriterien: Time-to-Value, Lock-in, Skills, Compliance
- Referenzarchitekturen und Anti-Patterns
- Compute für KI: GPU, TPU und skalierbare Cluster
- GPU-Instanzen, Scheduling, Spot/Preemptible Strategien
- Distributed Training: Daten- und Modellparallelität
- Beschleuniger-Ökosystem: Treiber, Container, Images
- Storage und Datenwege: schnell, sicher, bezahlbar
- Objekt-, Block- und File-Storage für KI-Pipelines
- High-Throughput Datenzugriff, Caching, Datenlokalität
- Lifecycle, Versionierung, Verschlüsselung, Schlüsselmanagement
- Netzwerk und Sicherheit: Zero Trust für KI-Workloads
- VPC/VNet, Private Endpoints, Egress-Kontrolle
- Identity und Zugriff: IAM-Rollen, Least Privilege
- Secret Management und sichere Service-to-Service Kommunikation
- MLOps und Plattformdienste: von Notebook bis Produktion
- Managed ML-Plattformen und ihre Grenzen
- Model Registry, Feature Store, Experiment Tracking
- CI/CD für Modelle, Canary, Shadow, Rollback
- LLM-Betrieb: RAG, Vektorsuche und Inferenz-Architektur
- Vektor-Datenbanken und Suchdienste im Vergleich
- Serving: Autoscaling, Batching, Quantisierung, Caching
- Guardrails, Content-Filter, Prompt- und Kontextschutz
- Kosten, FinOps und Kapazitätsplanung
- Kostenmodelle: On-Demand, Reserved, Savings Plans, Commitments
- GPU-Kosten senken: Right-Sizing, Spot, Scheduling, Abschalten
- Messgrößen: Cost per Token, Cost per Experiment, Unit Economics
