Kursbeschreibung
Die MLflow 3 Schulung verbindet LLM-Traces, Experimentläufe und Modellfreigaben in einem gemeinsamen Workflow. Du richtest einen Tracking-Server mit Backend-Store und Artifact-Store ein, protokollierst Runs mit den benötigten Metadaten und vergleichst Ergebnisse im MLflow-UI sowie über Python-Code. Die Laborstrecke zeigt, wie Entwicklungsteams Änderungen an Modellen und Prompts prüfen, bevor sie diese für weitere Deployment-Schritte freigeben. So dokumentieren Data Science, ML-Engineering und Plattformbetrieb die Übergabe.
Für LLM-basierte Anwendungen instrumentierst du Aufrufe und RAG-Abläufe, untersuchst einzelne Trace-Spans und verknüpfst auffällige Antworten mit Prompt-Versionen und Kontextdaten. Für GenAI-Reviews nutzt du Scorer und wiederholbare Evaluationsläufe. Im Abschluss-Lab bewertest du einen neuen Prompt, aktualisierst einen Registry-Eintrag und leitest aus Runs und Traces einen Monitoring-Hinweis ab. Die Übungen beziehen klassische ML-Modelle ebenso ein wie GenAI-Anwendungen und ergänzen die Themen unserer Machine-Learning-Schulungen.
Du arbeitest drei Tage in einer durchgehenden Laborstrecke und nimmst ein reproduzierbares Repository-Layout, dokumentierte Prompt-Versionen und ein Muster für Freigabe-Reviews mit. Mit zwei bis acht Personen pro Gruppe bleibt Raum für technische Rückfragen. Für den anschließenden Betrieb eigener Sprachmodelle bietet die Schulung zu LLM Self-Hosting und Deployment einen passenden nächsten Schritt. Frag einen passenden Termin für deine MLflow 3 Schulung an.
Die wichtigsten Themen im Überblick
- LLM-Traces systematisch auswerten
- Prompt-Versionen prüfbar vergleichen
- MLflow-Runs reproduzierbar aufbauen
- Modellfreigaben dokumentieren
- GenAI-Scorer für Reviews nutzen
- Betriebssignale aus Runs ableiten
Zielgruppe
- Data-Science-Fachkräfte mit Python-Erfahrung
- ML-Engineers für reproduzierbare Experimente
- MLOps-Engineers und KI-Plattform-Teams
- Teams mit LLM- oder RAG-Anwendungen im Betrieb
Voraussetzung für die Schulung
- Sichere Python-Grundlagen, etwa nach dem Python-Einstieg mit Machine Learning
- Erfahrung mit ML- oder LLM-Projekten
- Grundverständnis von APIs und Git-Workflows, etwa aus der Einführung in Git, GitLab und CI/CD
- Basiswissen zu Containern, beispielsweise aus dem Docker Linux Container Workshop
Kursinhalte
MLflow-3-Plattform einrichten
- Tracking-Server und Repository-Struktur
- Backend-Store und Artifact-Store
- Experimente für die Teamarbeit
- Autologging und manuelles Logging
- Run-Konventionen für technische Reviews
Experimente reproduzierbar protokollieren
- Run-Metadaten und Metriken
- Dataset-Logging für reproduzierbare Runs
- Model Signatures und Input Examples
- Artefakte für Audit und Vergleich
- Vergleich ausgewählter Experimentläufe
Model Registry für Releases nutzen
- Modellversionen und Registry-Aliasse
- Freigaben über Tags und Aliasse
- Registry-Strukturen für Teamprozesse
- MLflow Models für Serving
- Containerisierte Deployment-Pipelines
GenAI-Observability mit Tracing
- Trace-Spans für LLM-Aufrufe
- RAG-Abläufe in Trace-Ansichten
- Tool-Aufrufe und Fehleranalyse
- Kostenmetriken und Latenzmetriken
- Trace-Daten für Betriebsreviews
Prompts versionieren und vergleichen
- Prompt-Versionen in der Prompt Registry
- Prompt-Vergleich über Experimente
- Variantenfreigabe für Testumgebungen
- Artefaktablage für Prompt-Sets
- Reviews für Prompt-Änderungen
Modelle und LLM-Antworten evaluieren
- mlflow.evaluate für klassische Modelle
- GenAI-Scorer für Antwortqualität
- Baseline-Vergleich mit Referenzdaten
- Metriken für Release-Entscheidungen
- Betriebssignale aus Traces und Runs




.webp)



