LLM-Evaluation: Evaluation. Praxis. Sicherheit

Baue Eval-Sets, Review-Rubriken und Release-Checks für verlässliche LLM- und RAG-Produkte auf

LLM-Evaluation: Evaluation. Praxis. Sicherheit
LLM-Evaluation: Evaluation. Praxis. Sicherheit

Kursbeschreibung

  • Kurs-ID:KKC_0312
  • Kursdauer:2 Tage
  • Uhrzeit:09:00 - 16:00 Uhr

LLM-Evaluation macht die Qualität generativer AI-Produkte vor dem Release prüfbar. In dieser zweitägigen Schulung entwickelst du ein Evaluationsdesign für LLM-Features, Chatbots und RAG-Systeme. Du leitest aus fachlichen Anforderungen konkrete Qualitätskriterien ab, strukturierst repräsentative Eval-Sets und formulierst Rubrics für automatisierte Bewertungen und Human-Reviews. So lassen sich Halluzinationen, fehlender Quellenbezug und unerwünschte Änderungen nach einem Modell- oder Promptwechsel früher erkennen.

Die Übungen führen von produktnahen Testfällen über Bewertungsskalen bis zu Schwellenwerten für Go-live, manuelle Prüfung und Rollback. Für RAG-Anwendungen trennst du die Qualität des Retrievals von der Qualität der generierten Antwort. Du verbindest automatische Checks mit menschlicher Beurteilung und bereitest Regressionstests für Entwicklungs-Pipelines vor. Das schafft eine gemeinsame Entscheidungsbasis für Produkt, Entwicklung und QA, bevor fehlerhafte Antworten Nutzer erreichen. Fachliche Grundlagen zu Retrieval und Vektorsuche vertieft das RAG- und Vektordatenbanken-Training. Weitere Themen findest du bei den KI-Schulungen von Kebel Training. Sprich mit uns über den passenden Termin für dich oder dein Produktteam.

Die wichtigsten Themen im Überblick

  • Eigene Eval-Sets entwerfen
  • RAG-Qualität getrennt bewerten
  • Human-Review mit Rubrics kalibrieren
  • Regressionen vor Releases erkennen
  • Go-Live-Kriterien dokumentieren

Zielgruppe

  • AI-Leads mit Verantwortung für produktive LLM-Systeme
  • ML-Engineers und Data Scientists in AI-Produktteams
  • Product Owner und QA-Verantwortliche für AI-Features
  • Technische Teams mit Freigabeverantwortung bei anstehenden Modellwechseln

Voraussetzung für die Schulung

  • KI- und LLM-Grundlagen sowie ein Verständnis generativer AI-Systeme
  • Prompting-Grundlagen, etwa aus dem Prompt Engineering Grundkurs
  • Grundverständnis von RAG-Systemen oder vergleichbaren Retrieval-Workflows
  • Erfahrung mit Produktentwicklung, Software-Testing oder AI-Projekten ist hilfreich

Kursinhalte

Evaluationsstrategie für LLM-Produkte

  • Evaluation im AI-Produktlebenszyklus
  • Benchmarks und produktbezogene Eval-Sets
  • Monitoring und Nutzerfeedback aus der produktiven Nutzung
  • Korrektheit, Nützlichkeit und Konsistenz
  • Sicherheit, Quellenbezug und Nutzerwert
  • Risiken durch Modell- und Promptwechsel
  • Messbare Kriterien aus Fachanforderungen
  • Priorisierung nach Risiko und Nutzung

Eval-Sets entwerfen und pflegen

  • Repräsentative Nutzungsszenarien auswählen
  • Produktnahe Dialoge als Testfälle
  • Golden-Datasets und Referenzantworten
  • Edge-Cases und Negativbeispiele
  • Sicherheitskritische Testfälle erfassen
  • Akzeptable Abweichungen definieren
  • Testdaten und Prompts versionieren
  • Evaluations-Backlog für Produktänderungen

Automatisierte Bewertung und RAG-Evaluation

  • Regelbasierte Struktur- und Formatprüfungen
  • Checks für Pflichtinformationen und Policies
  • LLM-as-a-Judge mit Rubrics
  • Nachvollziehbare Score-Definitionen
  • Retrieval-Relevanz und Vollständigkeit
  • Quellenbezug generierter Antworten
  • Halluzinationsrisiken in Testläufen
  • Nichtdeterminismus und Score-Schwankungen
  • Kosten und Laufzeit automatisierter Evals

Human-Review und Kalibrierung

  • Leitlinien für fachliche Reviews
  • Sprachliche und sicherheitsbezogene Kriterien
  • Stichproben und Doppelbewertungen
  • Eskalationsregeln für Grenzfälle
  • Abweichende Bewertungen systematisch auswerten
  • Gemeinsame Bewertungsmaßstäbe kalibrieren
  • Automatische und menschliche Scores verbinden
  • Review-Ergebnisse für Audits dokumentieren

Regressionstests und Release-Entscheidungen

  • Test-Suites für Prompts und Systemnachrichten
  • Regressionstests für RAG-Komponenten
  • Prüfung von Tools und Modell-Upgrades
  • Schwellenwerte für Go-live-Entscheidungen
  • Kriterien für Rollback und Eskalation
  • Testläufe in Entwicklungs-Pipelines
  • Vergleich von Modellversionen und Prompts
  • Scores für Reporting und Freigaben
  • Feedback-Schleifen für Produktänderungen

Wähle aus 3 Terminen:

Ergebnisse filtern
LLM-Evaluation: Evaluation. Praxis. Sicherheit
18.02. - 19.02.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.390 € netto (1.654,10 € brutto)

Datum und Uhrzeit

18.02. - 19.02.2027
09:00 - 16:00 Uhr

LLM-Evaluation: Evaluation. Praxis. Sicherheit
13.05. - 14.05.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.390 € netto (1.654,10 € brutto)

Datum und Uhrzeit

13.05. - 14.05.2027
09:00 - 16:00 Uhr

LLM-Evaluation: Evaluation. Praxis. Sicherheit
15.07. - 16.07.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.390 € netto (1.654,10 € brutto)

Datum und Uhrzeit

15.07. - 16.07.2027
09:00 - 16:00 Uhr

  • Firmenschulung

    In einem unserer 21 Schulungszentren oder Live Online mit individuellen Inhalten

    • Passgenaue Inhalte nach deinem Bedarf
    • Individuelle Terminplanung
    • Hybride und Modulare Trainingsgestaltung
    • Kostenvorteil für dein Team
    Firmenschulung anfragen
  • Inhouseschulung

    Wir kommen zu dir ins Unternehmen und planen eure Inhouseschulung

    • Inhalte auf euch zugeschnitten
    • Termine nach euren Bedürfnissen
    • Vertraute Umgebung, kein Reiseaufwand
    Inhouseschulung anfragen
  • Offene Termine

    Du benötigst ein Angebot für unsere offenen Termine oder einer der Termine passt dir nicht? Einfach hier anfragen

    • Feste Termine, im Voraus planbar
    • An unseren 21 Standorten oder Live-Online
    • Austausch mit anderen Teilnehmenden
    • Kleine Lerngruppen von bis zu 8 Personen
    Offene Schulung anfragen

Verwandte Kurse

  • LLM Self-Hosting und Deployment Kurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 11.01.2027

    Weitere Kursinfos
  • LLM-Dokumentenanalyse und Pipelines Grundkurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 07.12.2026

    Weitere Kursinfos
  • Monitoring von KI-Agenten Kurs: Kontrolle und Sicherheit

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 11.01.2027

    Weitere Kursinfos
  • GLM-5.1 Kurs: Open Source LLM produktiv nutzen

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 30.11.2026

    Weitere Kursinfos
  • Open-Source LLM Fine-Tuning für Entwickler Kurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 14.12.2026

    Weitere Kursinfos
  • LLM Security Kurs: Injections erkennen und abwehren

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 10.12.2026

    Weitere Kursinfos
  • Mistral-KI Training: Europas LLM-Stack im Einsatz

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 23.11.2026

    Weitere Kursinfos
  • KI-Sicherheit in der Cloud Grundkurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 11.01.2027

    Weitere Kursinfos
eKomi Seminarbewertungen für www.kebel.de

Geprüfte Weiterbildungsqualität: eKomi Seminarbewertungen von Kebel Training

Unsere Kebel Training GmbH setzt bei der Qualitätssicherung auf unabhängige eKomi-Kundenbewertungen, um die Zufriedenheit nach jeder Schulung transparent abzubilden.

Mit über 1.800 verifizierten Bewertungen innerhalb der letzten 12 Monate gehört das Unternehmen zu den bestbewerteten Anbietern für IT-, KI- und Soft-Skills-Weiterbildungen im deutschsprachigen Raum.

Nach jedem durchgeführten Seminar erhalten alle Teilnehmenden die Einladung, das Training freiwillig und anonym über das unabhängige Bewertungsportal eKomi zu beurteilen.

Zum Bewertungsportal

Kebel Training GmbH wurde im Rahmen einer bundesweiten Kundenbefragung mit dem Award „Deutschlands Beste Business-Partner 2026“ im Bereich IT-Weiterbildung ausgezeichnet. Die Auszeichnung würdigt B2B-Unternehmen auf Grundlage der Erfahrungen und Bewertungen ihrer Kunden.

Ausgezeichnete IT-Weiterbildung: Kebel Training zählt zu „Deutschlands Beste Business-Partner 2026“

Die Kebel Training GmbH wurde im Rahmen einer bundesweiten Kundenbefragung mit dem Siegel „Deutschlands Beste Business-Partner 2026“ in der Kategorie IT-Schulungs- & Zertifizierungsanbieter ausgezeichnet. Im Ranking des DUP UNTERNEHMER-Magazins und des Deutschen Instituts für Service-Qualität (DISQ) vom 13. August 2026 erreichte das Unternehmen den 3. Platz. Die Auszeichnung basiert auf unabhängigen Kundenbewertungen und bestätigt die hohe Service- und Trainingsqualität für Geschäftskunden in ganz Deutschland. Als Weiterbildungspartner unterstützt Kebel Training Unternehmen, Fachkräfte und Teams dabei, Software-Lösungen im Arbeitsalltag effizient einzusetzen. Das Kursportfolio umfasst über 1.200 praxisorientierte Seminare und offizielle Zertifizierungen – darunter Schwerpunkte in den Bereichen:

  • Microsoft-Schulungen: Von Microsoft 365, Office-Anwendungen und Power BI bis hin zu Azure Cloud, Windows Server und IT-Security.
  • KI-Schulungen: Ob Grundlagen oder vertiefende Themen – unsere KI Schulungen unterstützen Dich dabei, KI kompetent und verantwortungsvoll in Deinem beruflichen Umfeld einzusetzen.
  • SAP-Schulungen:  Im Fokus stehen u. a. praxisnahe Szenarien aus Finance, Controlling, Logistik, Produktion, HR, Reporting und Analytics.
  • DATEV-Seminare: Gezielte Weiterbildungen für Finanzbuchhaltung, Lohnabrechnung, Jahresabschluss und digitale Kanzleiprozesse.
  • Autodesk-Trainings: Spezialisierte CAD- und BIM-Kurse für AutoCAD, Revit, Inventor und Fusion 365.
  • Soft Skills Seminare: Hierbei handelt es sich um soziale Kompetenzen bzw. soziale Intelligenz wie Teamfähigkeit, ein gutes Gedächtnis, rhetorische Fähigkeiten, Know-how im Projekt-Management und kommunikative Kompetenz.

Warum Unternehmen und Kunden auf unser Kebel Team setzen?

Die Top-Platzierung beim Business-Partner-Award 2026 spiegelt die konsequente Ausrichtung auf den Lernerfolg der Teilnehmenden wider. Kunden profitieren von klaren Qualitätsstandards:

  • 100 % Durchführungsgarantie: Jedes Seminar findet garantiert statt – bereits ab 1 angemeldeten Person.
  • Kleine Lerngruppen: Mit maximal 2 bis 8 Teilnehmenden bleibt genügend Raum für individuelle Fragen und Praxisbeispiele.
  • Maximale Flexibilität: Alle Trainings sind an 21 Standorten deutschlandweit, als Live-Online-Seminar oder als maßgeschneiderte Inhouse-Schulung direkt im Unternehmen buchbar.
  • Erfahrene Trainer und Trainerinnen aus der Praxis vermitteln Wissen verständlich und direkt anwendbar.

FAQ

LLM-Evaluation prüft die Qualität eines Sprachmodells oder einer darauf basierenden Anwendung anhand definierter Testfälle und Kriterien. Eval-Sets, automatische Checks und menschliche Reviews messen unter anderem Korrektheit, Quellenbezug und Sicherheit. Wiederholte Testläufe zeigen, ob Änderungen an Prompts, Modellen oder Daten die Ergebnisse verbessern oder verschlechtern.

Evaluation prüft definierte Testfälle vor und während der Weiterentwicklung, während Monitoring das Verhalten eines Systems nach der Bereitstellung beobachtet. Monitoring-Daten und Nutzerfeedback können neue Testfälle liefern. Ein Eval-Set macht diese Fälle anschließend wiederholbar und unterstützt den Vergleich zwischen Releases.

Bei einem RAG-System werden Retrieval und Antwortgenerierung getrennt geprüft. Für das Retrieval zählen Relevanz, Vollständigkeit und die Auswahl geeigneter Quellen. Bei der Antwort werden Korrektheit, Quellenbezug, Nützlichkeit und Halluzinationsrisiken anhand derselben Testfälle bewertet.

Human-Review eignet sich für fachlich komplexe, risikobehaftete oder mehrdeutige Bewertungen, bei denen automatische Scores keine ausreichende Entscheidungsgrundlage liefern. LLM-as-a-Judge unterstützt größere Testmengen und wiederholte Vergleiche. Seine Rubrics und Ergebnisse sollten gegen menschliche Bewertungen kalibriert werden.

Die Schulung richtet sich an AI Leads, ML Engineers, Data Scientists, Product Owner, QA-Verantwortliche und technische Projektleitungen. Sie eignet sich für Teams, die LLM-Features oder RAG-Systeme testen, Änderungen vergleichen und Freigabeentscheidungen anhand definierter Qualitätskriterien treffen.

Grundkenntnisse zu generativer KI, LLMs und Prompting werden vorausgesetzt. Für die Bewertung von RAG-Anwendungen ist ein Grundverständnis von Retrieval, Quellenkontext und generierten Antworten hilfreich. Erfahrung mit Software-Testing oder AI-Produktentwicklung erleichtert den Transfer.

Du erhältst nach der Schulung ein Zertifikat von Kebel Training als Nachweis deiner Weiterbildung. Es dokumentiert die behandelten Inhalte und die Teilnahme, ist jedoch keine herstellergebundene Zertifizierungsprüfung.

Eine Inhouse-Durchführung kannst du für dein Produkt- oder Entwicklungsteam anfragen. Bei der Abstimmung klärt Kebel Training den technischen Ausgangspunkt, die Rollen im Team und die Frage, welche LLM- oder RAG-Szenarien für die Übungen relevant sind.

Ja, nach erfolgreicher Teilnahme am LLM-Evaluation: Evaluation. Praxis. Sicherheit erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von LLM-Evaluation: Evaluation. Praxis. Sicherheit .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der LLM-Evaluation: Evaluation. Praxis. Sicherheit findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den LLM-Evaluation: Evaluation. Praxis. Sicherheit als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.

Name