Kursbeschreibung
KI erzeugt schnell sichtbare Demos, aber echte Steuerung entsteht erst, wenn Du Wirkung, Qualität, Betrieb und Risiko in ein gemeinsames Kennzahlensystem bringst. In diesem Seminar baust Du genau dieses System auf. Du startest mit der Frage, was „gut“ in Deinem Kontext bedeutet, und leitest daraus Messziele ab: Outcome statt reiner Output, Leading Indicators statt reiner Ergebniskennzahlen. Du lernst, wie Du Baselines definierst, Messfehler erkennst und Goodhart’s Law in der KPI-Auswahl berücksichtigst, damit Teams nicht auf die falschen Zahlen optimieren. Für Produktivität erarbeitest Du eine Task- und Prozesssicht mit Durchsatz, Durchlaufzeit, Rework und Automatisierungsgrad, ergänzt um Adoption, Nutzungsintensität und Skill-Uplift. Für Qualität erstellst Du eine Evaluationspipeline für generative KI, inklusive Goldensets, Rubrics, Pairwise Ranking und Kriterien für Halluzinationen, Grounding und Quellenqualität. Geschwindigkeit wird nicht nur als „schneller liefern“ verstanden, sondern als kontrollierte Delivery: Time-to-Value, Release-Frequenz, Experiment-Tempo sowie Betriebsmetriken wie Latenz, Token-Kosten, MTTD/MTTR und Error Budgets. Im Risikoteil baust Du ein Risikoregister auf, definierst Kontrollen wie Red Teaming und Guardrails und ordnest Nachweise entlang EU AI Act Pflichten ein. Abschließend verankerst Du alles in Governance, RACI, Review-Routinen und Dashboard-Strukturen, die Entscheidungen beschleunigen.
Die wichtigsten Themen im Überblick
- KI-KPIs entwickeln, die Produktivität messbar steuern
- Output, Outcome und Impact für KI sauber unterscheiden
- Zeitersparnis, Rework und ROI belastbar berechnen
- Qualität generativer KI mit Rubrics und Goldensets prüfen
- Leading Indicators für KI-Produkte im Alltag nutzen
- Risiken, EU AI Act und Compliance in Kennzahlen abbilden
- Dashboards und Review-Routinen für KI-Governance aufbauen
- Goodhart’s Law und KPI-Gaming frühzeitig vermeiden
Zielgruppe
- Product Owner, Produktmanagerinnen und Produktmanager für KI-Features
- Leitung Data/AI, ML Engineering, Analytics
- IT- und Digitalverantwortliche mit KPI- und Governance-Auftrag
- Risk, Compliance, Datenschutz und Informationssicherheit mit KI-Bezug
- Alle, die KI-Erfolg nicht nur zeigen, sondern über Kennzahlen führen wollen
Voraussetzung für die Schulung
- Grundverständnis von KI-Anwendungsfällen im eigenen Umfeld
- Erfahrung mit KPIs, OKRs oder Projektsteuerung ist hilfreich
Kursinhalte
- Messlogik für KI statt Bauchgefühl
- Output, Outcome, Impact: was Du wirklich messen willst
- Leading vs. Lagging Indicators für KI-Produkte
- Baseline, Kontrollgruppe, Counterfactuals im Alltag
- Messfehler, Goodhart’s Law und KPI-Gaming
- Produktivität: von „Zeit gespart“ zu belastbaren Zahlen
- Task-basierte Messung: Durchlaufzeit, WIP, Rework
- Human-in-the-loop: Anteil Automatisierung vs. Assistenz
- Adoption, Nutzungsintensität, Skill-Uplift
- ROI-Logik: Nutzen, Kosten, Opportunitätskosten
- Qualität: richtige Metriken für generative KI
- Accuracy, Precision/Recall, Calibration: wann passt was
- LLM-Evaluation: Rubrics, Pairwise Ranking, Goldensets
- Halluzinationen, Grounding, Quellen- und Zitierqualität
- Qualität im Prozess: Review-Quoten und Fehlerklassen
- Geschwindigkeit: Delivery- und Betriebsmetriken
- Time-to-Value, Release-Frequenz, Experiment-Tempo
- Latency, Token-Kosten, Caching und SLOs
- Incident-Metriken: MTTD, MTTR, Error Budgets
- Prompt- und Model-Change-Management
- Risiko & Compliance: Steuerung ohne Innovationsbremse
- Risikoregister: Datenschutz, IP, Security, Bias
- EU AI Act: Risikoklassen, Pflichten, Nachweise
- Kontrollen: Red Teaming, Abuse-Tests, Guardrails
- Auditierbarkeit: Logs, Versionierung, Freigaben
- Steuerungsmodelle: vom KPI-Set zum Operating Model
- North Star Metric, KPI-Baum, OKRs und Zielkonflikte
- Governance: Rollen, RACI, Entscheidungsgremien
- Portfolio-Steuerung: Use-Case-Pipeline und Priorisierung
- Dashboards, Review-Routinen, Eskalationspfade
