MLflow 3 Schulung: GenAI Observability für LLMs

LLM-Traces prüfen, Prompt-Versionen vergleichen und Modellfreigaben mit MLflow 3 dokumentieren

MLflow 3 Schulung: GenAI Observability für LLMs
MLflow 3 Schulung: GenAI Observability für LLMs

Kursbeschreibung

  • Kurs-ID:KKC_0327
  • Kursdauer:3 Tage
  • Uhrzeit:09:00 - 16:00 Uhr

Die MLflow 3 Schulung verbindet LLM-Traces, Experimentläufe und Modellfreigaben in einem gemeinsamen Workflow. Du richtest einen Tracking-Server mit Backend-Store und Artifact-Store ein, protokollierst Runs mit den benötigten Metadaten und vergleichst Ergebnisse im MLflow-UI sowie über Python-Code. Die Laborstrecke zeigt, wie Entwicklungsteams Änderungen an Modellen und Prompts prüfen, bevor sie diese für weitere Deployment-Schritte freigeben. So dokumentieren Data Science, ML-Engineering und Plattformbetrieb die Übergabe.

Für LLM-basierte Anwendungen instrumentierst du Aufrufe und RAG-Abläufe, untersuchst einzelne Trace-Spans und verknüpfst auffällige Antworten mit Prompt-Versionen und Kontextdaten. Für GenAI-Reviews nutzt du Scorer und wiederholbare Evaluationsläufe. Im Abschluss-Lab bewertest du einen neuen Prompt, aktualisierst einen Registry-Eintrag und leitest aus Runs und Traces einen Monitoring-Hinweis ab. Die Übungen beziehen klassische ML-Modelle ebenso ein wie GenAI-Anwendungen und ergänzen die Themen unserer Machine-Learning-Schulungen.

Du arbeitest drei Tage in einer durchgehenden Laborstrecke und nimmst ein reproduzierbares Repository-Layout, dokumentierte Prompt-Versionen und ein Muster für Freigabe-Reviews mit. Mit zwei bis acht Personen pro Gruppe bleibt Raum für technische Rückfragen. Für den anschließenden Betrieb eigener Sprachmodelle bietet die Schulung zu LLM Self-Hosting und Deployment einen passenden nächsten Schritt. Frag einen passenden Termin für deine MLflow 3 Schulung an.

Die wichtigsten Themen im Überblick

  • LLM-Traces systematisch auswerten
  • Prompt-Versionen prüfbar vergleichen
  • MLflow-Runs reproduzierbar aufbauen
  • Modellfreigaben dokumentieren
  • GenAI-Scorer für Reviews nutzen
  • Betriebssignale aus Runs ableiten

Zielgruppe

  • Data-Science-Fachkräfte mit Python-Erfahrung
  • ML-Engineers für reproduzierbare Experimente
  • MLOps-Engineers und KI-Plattform-Teams
  • Teams mit LLM- oder RAG-Anwendungen im Betrieb

Voraussetzung für die Schulung

  • Sichere Python-Grundlagen, etwa nach dem Python-Einstieg mit Machine Learning
  • Erfahrung mit ML- oder LLM-Projekten
  • Grundverständnis von APIs und Git-Workflows, etwa aus der Einführung in Git, GitLab und CI/CD
  • Basiswissen zu Containern, beispielsweise aus dem Docker Linux Container Workshop

Kursinhalte

MLflow-3-Plattform einrichten

  • Tracking-Server und Repository-Struktur
  • Backend-Store und Artifact-Store
  • Experimente für die Teamarbeit
  • Autologging und manuelles Logging
  • Run-Konventionen für technische Reviews

Experimente reproduzierbar protokollieren

  • Run-Metadaten und Metriken
  • Dataset-Logging für reproduzierbare Runs
  • Model Signatures und Input Examples
  • Artefakte für Audit und Vergleich
  • Vergleich ausgewählter Experimentläufe

Model Registry für Releases nutzen

  • Modellversionen und Registry-Aliasse
  • Freigaben über Tags und Aliasse
  • Registry-Strukturen für Teamprozesse
  • MLflow Models für Serving
  • Containerisierte Deployment-Pipelines

GenAI-Observability mit Tracing

  • Trace-Spans für LLM-Aufrufe
  • RAG-Abläufe in Trace-Ansichten
  • Tool-Aufrufe und Fehleranalyse
  • Kostenmetriken und Latenzmetriken
  • Trace-Daten für Betriebsreviews

Prompts versionieren und vergleichen

  • Prompt-Versionen in der Prompt Registry
  • Prompt-Vergleich über Experimente
  • Variantenfreigabe für Testumgebungen
  • Artefaktablage für Prompt-Sets
  • Reviews für Prompt-Änderungen

Modelle und LLM-Antworten evaluieren

  • mlflow.evaluate für klassische Modelle
  • GenAI-Scorer für Antwortqualität
  • Baseline-Vergleich mit Referenzdaten
  • Metriken für Release-Entscheidungen
  • Betriebssignale aus Traces und Runs

Termin finden

MLflow 3 Schulung: GenAI Observability für LLMs
21.09. - 23.09.2026 Online Garantiekurs Rabatt

Datum und Uhrzeit

21.09. - 23.09.2026
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
11.01. - 13.01.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
22.03. - 24.03.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

22.03. - 24.03.2027
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
21.06. - 23.06.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

21.06. - 23.06.2027
09:00 - 16:00 Uhr

1.790 € netto
Plätze frei Wenige Plätze frei Nicht buchbar

Kebel Training – Das spricht für uns

  • Über 1.200 Kurse im Portfolio

    Wähle deinen passenden Kurs zu einem festen Termin und erhalte dein Zertifikat. Lerne Live Online oder in Präsenz. Unser Kebel Team berät dich  kostenlos und unverbindlich.

    Seminarprogramm entdecken

  • Durchführungs- und Qualitätsgarantie

    Dein Seminar findet garantiert statt, wenn es von uns bestätigt wurde – schon ab dem ersten Teilnehmenden. Und falls du nicht zufrieden warst, kannst du es kostenlos wiederholen.

    Unsere Durchführungsgarantie

  • Firmenschulungen nach Maß – In Präsenz, Live Online oder hybrid

    Damit du deine Ziele sicher erreichst, passen wir jedes Training exakt an deine Vorkenntnisse und Bedürfnisse an. Spare dir unnötige Anfahrtswege: Auf Wunsch kommen wir für eine maßgeschneiderte Inhouse-Schulung direkt zu dir.

  • Mehr als 30 Jahre Schulungserfahrung

    Profitiere von unserer Erfahrung: Wir planen deine Weiterbildung zuverlässig und exakt zugeschnitten auf deine Ziele. Unsere über 1.000 Trainer und Trainerinnen begleiten dich mit jahrelanger Praxisexpertise und wertvollem Know-how aus der Erwachsenenbildung.

  • 21 Standorte in deiner Nähe

    Deutschlandweit stehen dir unsere modernen Schulungszentren für deine berufliche Fortbildung zur Verfügung.

    21 Schulungszentren

  • Seminarbewertungen auf www.eKomi.de

    Erlebe Weiterbildung, die wirklich hält, was sie verspricht! Mit über 1.700 Bewertungen und einem Schnitt von 4,8 Sternen profitierst du bei Kebel Training von einer nachweislich exzellenten Qualität, der du voll und ganz vertrauen kannst.

  • Bester Business-Partner 2026

    Eine gute Wahl – du buchst bei einem der 3 besten IT-Schulungs- & Zertifizierungsanbietern in Deutschland! Quelle: Award „Deutschlands Beste Business-Partner 2026″ von  dem DUP UNTERNEHMER-Magazin und dem Deutschen Institut für Service-Qualität (DISQ) – 13.8.2026.

  • Praxisorientierte Seminare & immer up to date

    Damit du immer einen Schritt voraus bist, erweitern und aktualisieren wir unser Seminarprogramm rund um IT, KI und Soft Skills kontinuierlich für dich.

     

  • Familienunternehmen in zweiter Generation

    Als familiengeführtes Unternehmen in zweiter Generation vereinen wir das Beste aus Tradition und Zukunft. Das bedeutet für dich: Absolute Zuverlässigkeit, kontinuierliche Weiterentwicklung und ein langjähriger Partner an deiner Seite.

Verwandte Kurse

  • GenAI-Marketing Grundkurs: Strategie und Umsetzung

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 02.11.2026

    Weitere Kursinfos
  • Open-Source-LLMs lokal betreiben: Grundkurs

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 07.09.2026

    Weitere Kursinfos
  • Large Language Models Advanced Kurs: Eigene LLMs und Tuning

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 07.09.2026

    Weitere Kursinfos
  • KI Securitykurs: Schutz vor bösartigen LLMs, WormGPT und Co.

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 16.11.2026

    Weitere Kursinfos
  • Effektive KI Software-Tests mit LLMs Kurs

    Nächste und weitere Termine:
    In Präsenz: 12.10.2026
    Live Online: 12.10.2026

    Weitere Kursinfos
  • Perplexity AI und Comet Kurs: Recherche, die schneller ist

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 16.11.2026

    Weitere Kursinfos
  • Beyond Machine Learning Kurs: Was kommt danach?

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 11.12.2026

    Weitere Kursinfos
  • KI-Strategie für den Mittelstand, die wirkt Kurs

    Nächste und weitere Termine:
    In Präsenz: 23.09.2026
    Live Online: 12.10.2026

    Weitere Kursinfos

FAQ

Tracing erfasst die einzelnen Schritte eines LLM- oder RAG-Ablaufs als Spans. MLflow 3 verbindet diese Trace-Daten mit Prompts, Kontextinformationen, Latenzen und Evaluationsergebnissen. Entwickler können dadurch auffällige Antworten untersuchen, Varianten vergleichen und Entscheidungen für eine Freigabe dokumentieren.

MLflow Tracking protokolliert Experimentläufe, Parameter, Metriken, Datensätze und Artefakte. Die Model Registry verwaltet daraus hervorgehende Modellversionen, Aliasse, Tags und dokumentierte Freigabeschritte. Tracking beantwortet damit die Frage nach dem Experiment, die Registry die Frage nach der freigegebenen Version.

Die Prompt Registry eignet sich, wenn Prompt-Varianten versioniert, bewertet und für definierte Umgebungen freigegeben werden sollen. Eine reine Artefaktablage speichert Prompt-Dateien, bildet aber den Zusammenhang zwischen Version, Evaluation, Alias und Freigabeprozess nicht in derselben Form ab.

Die Schulung richtet sich an Data-Science-Fachkräfte, ML-Engineers, MLOps-Engineers und Entwickler von LLM- oder RAG-Anwendungen. Sie passt zu Teams, die MLflow bereits verwenden oder Tracking, Registry, Prompt Management und GenAI-Tracing in einem gemeinsamen Workflow aufbauen möchten.

Sichere Python-Grundlagen und erste Erfahrung mit ML- oder LLM-Projekten werden vorausgesetzt. Kenntnisse in Git, APIs und containerisierten Anwendungen erleichtern den Einstieg in die Laboraufgaben. MLflow-Vorkenntnisse sind hilfreich, werden aber nicht als formale Voraussetzung genannt.

Die Schulung dauert drei Tage. Die Inhalte folgen einer zusammenhängenden Laborstrecke vom Plattform-Setup über Tracing und Prompt Management bis zur Evaluation und zum abschließenden GenAI-Review.

Nach der Schulung erhältst du ein Zertifikat von Kebel Training als Nachweis deiner Weiterbildung. Es handelt sich nicht um eine eigenständige offizielle Herstellerzertifizierung oder MLflow-Prüfung.

Eine Inhouse-Durchführung für dein Team wird auf Anfrage geprüft. Technische Umgebung, gewünschte Schwerpunkte und organisatorische Anforderungen werden vorab mit Kebel Training abgestimmt.

Ja, nach erfolgreicher Teilnahme am MLflow 3 Schulung: GenAI Observability für LLMs erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von MLflow 3 Schulung: GenAI Observability für LLMs .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der MLflow 3 Schulung: GenAI Observability für LLMs findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den MLflow 3 Schulung: GenAI Observability für LLMs als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.

Name