MLflow 3 Schulung: GenAI Observability für LLMs

LLM-Traces prüfen, Prompt-Versionen vergleichen und Modellfreigaben mit MLflow 3 dokumentieren

MLflow 3 Schulung: GenAI Observability für LLMs
MLflow 3 Schulung: GenAI Observability für LLMs

Kursbeschreibung

  • Kurs-ID:KKC_0327
  • Kursdauer:3 Tage
  • Uhrzeit:09:00 - 16:00 Uhr

Die MLflow 3 Schulung verbindet LLM-Traces, Experimentläufe und Modellfreigaben in einem gemeinsamen Workflow. Du richtest einen Tracking-Server mit Backend-Store und Artifact-Store ein, protokollierst Runs mit den benötigten Metadaten und vergleichst Ergebnisse im MLflow-UI sowie über Python-Code. Die Laborstrecke zeigt, wie Entwicklungsteams Änderungen an Modellen und Prompts prüfen, bevor sie diese für weitere Deployment-Schritte freigeben. So dokumentieren Data Science, ML-Engineering und Plattformbetrieb die Übergabe.

Für LLM-basierte Anwendungen instrumentierst du Aufrufe und RAG-Abläufe, untersuchst einzelne Trace-Spans und verknüpfst auffällige Antworten mit Prompt-Versionen und Kontextdaten. Für GenAI-Reviews nutzt du Scorer und wiederholbare Evaluationsläufe. Im Abschluss-Lab bewertest du einen neuen Prompt, aktualisierst einen Registry-Eintrag und leitest aus Runs und Traces einen Monitoring-Hinweis ab. Die Übungen beziehen klassische ML-Modelle ebenso ein wie GenAI-Anwendungen und ergänzen die Themen unserer Machine-Learning-Schulungen.

Du arbeitest drei Tage in einer durchgehenden Laborstrecke und nimmst ein reproduzierbares Repository-Layout, dokumentierte Prompt-Versionen und ein Muster für Freigabe-Reviews mit. Mit zwei bis acht Personen pro Gruppe bleibt Raum für technische Rückfragen. Für den anschließenden Betrieb eigener Sprachmodelle bietet die Schulung zu LLM Self-Hosting und Deployment einen passenden nächsten Schritt. Frag einen passenden Termin für deine MLflow 3 Schulung an.

Die wichtigsten Themen im Überblick

  • LLM-Traces systematisch auswerten
  • Prompt-Versionen prüfbar vergleichen
  • MLflow-Runs reproduzierbar aufbauen
  • Modellfreigaben dokumentieren
  • GenAI-Scorer für Reviews nutzen
  • Betriebssignale aus Runs ableiten

Zielgruppe

  • Data-Science-Fachkräfte mit Python-Erfahrung
  • ML-Engineers für reproduzierbare Experimente
  • MLOps-Engineers und KI-Plattform-Teams
  • Teams mit LLM- oder RAG-Anwendungen im Betrieb

Voraussetzung für die Schulung

  • Sichere Python-Grundlagen, etwa nach dem Python-Einstieg mit Machine Learning
  • Erfahrung mit ML- oder LLM-Projekten
  • Grundverständnis von APIs und Git-Workflows, etwa aus der Einführung in Git, GitLab und CI/CD
  • Basiswissen zu Containern, beispielsweise aus dem Docker Linux Container Workshop

Kursinhalte

MLflow-3-Plattform einrichten

  • Tracking-Server und Repository-Struktur
  • Backend-Store und Artifact-Store
  • Experimente für die Teamarbeit
  • Autologging und manuelles Logging
  • Run-Konventionen für technische Reviews

Experimente reproduzierbar protokollieren

  • Run-Metadaten und Metriken
  • Dataset-Logging für reproduzierbare Runs
  • Model Signatures und Input Examples
  • Artefakte für Audit und Vergleich
  • Vergleich ausgewählter Experimentläufe

Model Registry für Releases nutzen

  • Modellversionen und Registry-Aliasse
  • Freigaben über Tags und Aliasse
  • Registry-Strukturen für Teamprozesse
  • MLflow Models für Serving
  • Containerisierte Deployment-Pipelines

GenAI-Observability mit Tracing

  • Trace-Spans für LLM-Aufrufe
  • RAG-Abläufe in Trace-Ansichten
  • Tool-Aufrufe und Fehleranalyse
  • Kostenmetriken und Latenzmetriken
  • Trace-Daten für Betriebsreviews

Prompts versionieren und vergleichen

  • Prompt-Versionen in der Prompt Registry
  • Prompt-Vergleich über Experimente
  • Variantenfreigabe für Testumgebungen
  • Artefaktablage für Prompt-Sets
  • Reviews für Prompt-Änderungen

Modelle und LLM-Antworten evaluieren

  • mlflow.evaluate für klassische Modelle
  • GenAI-Scorer für Antwortqualität
  • Baseline-Vergleich mit Referenzdaten
  • Metriken für Release-Entscheidungen
  • Betriebssignale aus Traces und Runs

Termin finden

MLflow 3 Schulung: GenAI Observability für LLMs
21.09. - 23.09.2026 Online Garantiekurs Rabatt

Datum und Uhrzeit

21.09. - 23.09.2026
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
11.01. - 13.01.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
22.03. - 24.03.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

22.03. - 24.03.2027
09:00 - 16:00 Uhr

1.790 € netto
MLflow 3 Schulung: GenAI Observability für LLMs
21.06. - 23.06.2027 Online Garantiekurs Rabatt

Datum und Uhrzeit

21.06. - 23.06.2027
09:00 - 16:00 Uhr

1.790 € netto
Plätze frei Wenige Plätze frei Nicht buchbar
21 Schulungszentren

Lerne an 21 Standorten, inhouse oder Live Online

Als bundesweit tätiger und renommierter Seminaranbieter bietet dir die Kebel Training GmbH ein umfangreiches Angebot an IT-Schulungen, KI-Seminaren und Soft-Skills Trainings an.

Unser MLflow 3 Schulung: GenAI Observability für LLMs findet in der Regel als Präsenzseminar in Berlin, Bremen, Dortmund, Dresden, Düsseldorf, Erfurt, Essen, Frankfurt, Hamburg, Hannover, Koblenz, Köln, Krefeld, Leipzig, München, Münster, Nürnberg, Regensburg, Saarbrücken, Siegen und Stuttgart statt.

Alternativ kann deine Fortbildung als Inhouse-Schulung bei dir vor Ort, Workshop und als Live Online Training organisiert werden. Unser Kebel Team berät dich gerne.

Zur Standortübersicht

eKomi Seminarbewertungen für www.kebel.de

eKomi Seminarbewertungen

Qualität ist bei Kebel kein Versprechen, sondern belegbar. Deshalb setzen wir auf das unabhängige Bewertungsportal eKomi. Nach jeder IT-, KI- oder Soft Skills Schulung – live online oder in Präsenz durchgeführt – erhalten unsere Teilnehmer:innen die Möglichkeit, uns anonym und freiwillig zu bewerten.

Mit über 1.700 Bewertungen in den letzten 12 Monaten zählen wir zu den bestbewerteten Anbietern für IT-Weiterbildungen.  Alle Bewertungen, ob positiv oder kritisch, fließen transparent in unsere offizielle Bewertungsstatistik ein und bilden die Grundlage unserer eKomi Trust-Zertifikate.

Für dich als Personalverantwortliche, IT-Fachkraft oder Entscheider:in bedeutet das: verifizierte Teilnehmerstimmen, geprüfte Qualität und maximale Transparenz bei der Auswahl deines Weiterbildungspartners.

Zum Bewertungsportal

Kebel Training – Das spricht dafür…

  • Über 1.200 Kurse im Portfolio

    Wähle deinen passenden Kurs zu einem festen Termin und erhalte dein Zertifikat. Lerne Live Online oder in Präsenz. Unser Kebel Team berät dich  kostenlos und unverbindlich.

    Seminarprogramm entdecken

  • Durchführungs- und Qualitätsgarantie

    Dein Seminar findet garantiert statt, wenn es von uns bestätigt wurde – schon ab dem ersten Teilnehmenden. Und falls du nicht zufrieden warst, kannst du es kostenlos wiederholen.

    Unsere Durchführungsgarantie

  • Firmenschulungen nach Maß – In Präsenz, Live Online oder hybrid

    Wir richten unsere Trainings individuell nach euren Anforderungen und Zielen aus. Auf Wunsch kann eure Schulung vor Ort als Inhouse- Schulung organisiert werden.

  • Mehr als 30 Jahre Schulungserfahrung

    Seit 1995 planen wir erfolgreich und zuverlässig Weiterbildungen im IT- und Soft-Skills Bereich.

  • 21 Standorte in deiner Nähe

    Deutschlandweit stehen dir unsere modernen Schulungszentren für deine berufliche Fortbildung zur Verfügung.

    21 Schulungszentren

  • Familienunternehmen in zweiter Generation

    Als Familienunternehmen in zweiter Generation verbinden wir Tradition mit Zukunft.

Verwandte Kurse

  • GenAI-Marketing Grundkurs: Strategie und Umsetzung

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 02.11.2026

    Weitere Kursinfos
  • Open-Source-LLMs lokal betreiben: Grundkurs

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 07.09.2026

    Weitere Kursinfos
  • Large Language Models Advanced Kurs: Eigene LLMs und Tuning

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 07.09.2026

    Weitere Kursinfos
  • KI Securitykurs: Schutz vor bösartigen LLMs, WormGPT und Co.

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 17.08.2026

    Weitere Kursinfos
  • Effektive KI Software-Tests mit LLMs Kurs

    Nächste und weitere Termine:
    In Präsenz: 12.10.2026
    Live Online: 12.10.2026

    Weitere Kursinfos
  • Perplexity AI und Comet Kurs: Recherche, die schneller ist

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 17.08.2026

    Weitere Kursinfos
  • Beyond Machine Learning Kurs: Was kommt danach?

    Nächste und weitere Termine:
    In Präsenz: -
    Live Online: 11.12.2026

    Weitere Kursinfos
  • KI-Strategie für den Mittelstand, die wirkt Kurs

    Nächste und weitere Termine:
    In Präsenz: 23.09.2026
    Live Online: 12.10.2026

    Weitere Kursinfos

FAQ

Tracing erfasst die einzelnen Schritte eines LLM- oder RAG-Ablaufs als Spans. MLflow 3 verbindet diese Trace-Daten mit Prompts, Kontextinformationen, Latenzen und Evaluationsergebnissen. Entwickler können dadurch auffällige Antworten untersuchen, Varianten vergleichen und Entscheidungen für eine Freigabe dokumentieren.

MLflow Tracking protokolliert Experimentläufe, Parameter, Metriken, Datensätze und Artefakte. Die Model Registry verwaltet daraus hervorgehende Modellversionen, Aliasse, Tags und dokumentierte Freigabeschritte. Tracking beantwortet damit die Frage nach dem Experiment, die Registry die Frage nach der freigegebenen Version.

Die Prompt Registry eignet sich, wenn Prompt-Varianten versioniert, bewertet und für definierte Umgebungen freigegeben werden sollen. Eine reine Artefaktablage speichert Prompt-Dateien, bildet aber den Zusammenhang zwischen Version, Evaluation, Alias und Freigabeprozess nicht in derselben Form ab.

Die Schulung richtet sich an Data-Science-Fachkräfte, ML-Engineers, MLOps-Engineers und Entwickler von LLM- oder RAG-Anwendungen. Sie passt zu Teams, die MLflow bereits verwenden oder Tracking, Registry, Prompt Management und GenAI-Tracing in einem gemeinsamen Workflow aufbauen möchten.

Sichere Python-Grundlagen und erste Erfahrung mit ML- oder LLM-Projekten werden vorausgesetzt. Kenntnisse in Git, APIs und containerisierten Anwendungen erleichtern den Einstieg in die Laboraufgaben. MLflow-Vorkenntnisse sind hilfreich, werden aber nicht als formale Voraussetzung genannt.

Die Schulung dauert drei Tage. Die Inhalte folgen einer zusammenhängenden Laborstrecke vom Plattform-Setup über Tracing und Prompt Management bis zur Evaluation und zum abschließenden GenAI-Review.

Nach der Schulung erhältst du ein Zertifikat von Kebel Training als Nachweis deiner Weiterbildung. Es handelt sich nicht um eine eigenständige offizielle Herstellerzertifizierung oder MLflow-Prüfung.

Eine Inhouse-Durchführung für dein Team wird auf Anfrage geprüft. Technische Umgebung, gewünschte Schwerpunkte und organisatorische Anforderungen werden vorab mit Kebel Training abgestimmt.

Ja, nach erfolgreicher Teilnahme am MLflow 3 Schulung: GenAI Observability für LLMs erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von MLflow 3 Schulung: GenAI Observability für LLMs .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der MLflow 3 Schulung: GenAI Observability für LLMs findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den MLflow 3 Schulung: GenAI Observability für LLMs als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.

Name