Kursbeschreibung
Viele Organisationen starten KI-Initiativen mit einem Proof of Concept und merken erst später, dass die Infrastruktur nicht skaliert, die Kosten explodieren oder Compliance-Anforderungen nachträglich alles verkomplizieren. In diesem Seminar planst Du KI-Infrastruktur vorausschauend und triffst Entscheidungen, die auch bei Wachstum, neuen Modellen und strengeren Vorgaben tragen. Du arbeitest mit einem strukturierten Vorgehen: Anforderungen erfassen, Workloads klassifizieren, Architekturvarianten bewerten, Kapazität und Kosten kalkulieren, Betrieb und Sicherheit festlegen. Du lernst, wie Du Training, Fine-Tuning und Inference als unterschiedliche Betriebsprobleme behandelst. Für Compute und GPU-Planung klärst Du, welche GPU-Klassen, Speicherausbauten und Cluster-Topologien zu Deinen Zielen passen und welche Abhängigkeiten zwischen Netzwerk, Storage und Scheduling die Performance bestimmen. Du verstehst die Grundprinzipien von Kubernetes und Slurm im KI-Kontext und wie Du mit Benchmarking eine realistische Kapazitätsplanung aufsetzt. Ein zentrales Modul ist die Datenplattform: Du ordnest Data Lake, Feature Store und Vektordatenbank ein und wählst Storage-Formen (Object, Block, File) passend zu Zugriffsmustern, Governance und Kosten. Du planst Datenbewegung, Replikation und Caching so, dass Datenresidenz, Egress und Wiederholbarkeit nicht zur Überraschung werden. Security und Compliance werden konkret: IAM, Secrets, Schlüsselmanagement, Mandantentrennung, Logging und Auditierbarkeit. Zusätzlich bewertest Du typische Risiken bei generativen KI-Anwendungen wie Datenabfluss und Prompt Injection und leitest Schutzmaßnahmen ab. Zum Schluss baust Du eine FinOps- und TCO-Perspektive auf, inklusive Reservierungs- und Spot-Strategien, SLAs und Support-Modellen. Ergebnis ist eine Entscheidungsvorlage, die Du gegenüber IT, Security und Management sauber begründen kannst.
Die wichtigsten Themen im Überblick
- Entscheide fundiert zwischen On-Premise, Cloud und Hybrid
- Plane GPU, Compute und Cluster für KI-Workloads
- Bewerte Latenz, Datenresidenz und Skalierung sicher
- Gestalte Storage, Data Lake und Vektordatenbanken passend
- Sichere KI-Infrastruktur mit IAM, Zero Trust und DSGVO
- Setze MLOps für Rollouts, Observability und Betrieb ein
- Berechne TCO, Cloud-Kosten und FinOps-Hebel realistisch
- Vermeide teure Fehlentscheidungen vor dem KI-Projektstart
Zielgruppe
- IT-Architektinnen und IT-Architekten, die KI-Plattformen verantworten
- Leiterinnen und Leiter IT-Betrieb, Infrastruktur und Rechenzentrum
- ML Engineers und MLOps-Verantwortliche mit Architekturaufgaben
- IT-Security- und Governance-Rollen mit KI-Bezug
- Für alle, die eine belastbare Entscheidung zwischen On-Premise, Cloud oder Hybrid treffen wollen
Voraussetzung für die Schulung
- Grundverständnis von IT-Infrastruktur (Netzwerk, Storage, Virtualisierung oder Container).
- Erste Berührung mit Machine Learning oder KI-Workloads ist hilfreich, aber nicht zwingend.
Kursinhalte
- Entscheidungsrahmen für KI-Infrastruktur
- Workload-Typen: Training, Fine-Tuning, Inference
- Latenz, Datenresidenz, Skalierung als Treiber
- Build vs. Buy: Reifegrad und Betriebsmodell
- Hybrid- und Multi-Cloud sinnvoll abgrenzen
- GPU, Compute und Performance richtig planen
- GPU-Klassen, Speicherausbau, Interconnects
- Cluster-Design: Knoten, Storage, Netzwerk
- Scheduling-Grundlagen: Kubernetes, Slurm
- Benchmarking und Kapazitätsplanung
- Datenplattform, Storage und Datenbewegung
- Data Lake, Feature Store, Vektordatenbank
- Storage-Optionen: Object, Block, File
- ETL/ELT, Datenversionierung, Lineage
- Egress, Replikation, Caching-Strategien
- Sicherheit, Compliance und Governance
- IAM, Secrets, Schlüsselmanagement
- Mandantentrennung und Zero-Trust-Prinzipien
- DSGVO, Auditierbarkeit, Logging
- Modellrisiken: Prompt Injection, Datenabfluss
- MLOps und Betriebsfähigkeit
- CI/CD für Modelle, Artefakte, Container
- Observability: Kosten, Performance, Drift
- Rollouts: Canary, Blue-Green, A/B
- Incident- und Patch-Strategien
- Kosten, Verträge und FinOps für KI
- TCO: CapEx/OpEx, Abschreibung, Personal
- Cloud-Kostenhebel: Reserved, Spot, Autoscaling
- Lizenzierung, Support-Modelle, SLAs
- Make-or-Break: Egress, Storage, Idle-GPUs
