Kursbeschreibung
NLU-Projekte scheitern selten an der Modellarchitektur, sondern an unklaren Entscheidungen: schlechte Intent-Schnitte, inkonsistente Annotation und fehlende Betriebskonzepte. In diesem Seminar baust Du die NLU-Bausteine so, dass sie als Produktkomponente funktionieren. Du lernst zuerst, wie Du Intents, Entities und Slots definierst, ohne die Nutzerkommunikation zu übermodellieren. Du erkennst typische Fehlerbilder wie Intent-Kollisionen, Entity-Overlaps, Out-of-Vocabulary-Begriffe und Drift und leitest daraus konkrete Gegenmaßnahmen ab. Danach arbeitest Du an der Datenbasis: Du erstellst Annotation Guidelines, definierst Grenzfall-Regeln und planst Sampling-Strategien inklusive Hard Negatives. Du berücksichtigst Datenschutz und PII-Handling, damit Logging und Training rechtssicher und praktisch umsetzbar bleiben. Im Modellteil entscheidest Du pragmatisch zwischen Baselines und Transformer-Ansätzen und lernst, wie Du Thresholds, Abstention und Fallback-Intents einsetzt, um Fehlentscheidungen zu begrenzen. Für Entity Recognition und Slot Filling kombinierst Du Regex, Gazetteers und statistische Verfahren und baust Normalisierung sowie Post-Processing für Konflikte und Prioritäten. Du setzt Evaluation so auf, dass sie reale Risiken abbildet: Macro-F1 und Confusion Matrix für Intents, Span-F1 und Partial Match für Entities sowie Challenge-Sets und Regression-Tests. Zum Abschluss planst Du Deployment und Betrieb mit Monitoring, Active Learning und Versionierung. Du verstehst außerdem, wie NLU in RAG-Setups und Tool-basierten Agenten als Router und Sicherheitslayer eingesetzt wird.
Die wichtigsten Themen im Überblick
- Intent, Entity, Slot und Kontext sicher unterscheiden
- Robuste NLU-Pipelines für reale Texte aufbauen
- Trainingsdaten mit Guidelines und Balancing verbessern
- Thresholds, Fallbacks und Abstention gezielt einsetzen
- Entities und Slots bei unscharfen Texten zuverlässig erkennen
- Modelle mit Macro-F1, Span-F1 und Challenge-Sets bewerten
- NLU als Router für RAG, Tools und Agenten integrieren
- Drift mit Monitoring und Active Learning früh erkennen
Zielgruppe
- Machine-Learning Engineers und Data Scientists, die NLU-Komponenten produktiv betreiben
- Softwareentwicklerinnen und Softwareentwickler, die Chatbots, Search oder Agent-Workflows bauen
- Product Owner und Tech Leads, die NLU-Anforderungen und Qualität messbar machen
- Data- und Analytics-Verantwortliche, die Annotation und Datenstrategie steuern
- Für alle, die Intent- und Entity-Modelle belastbar in Anwendungen integrieren wollen
Voraussetzung für die Schulung
- Grundverständnis von Machine Learning und Klassifikation (Begriffe wie Train/Test, Overfitting).
- Erfahrung mit Datenanalyse oder Modellnutzung ist hilfreich, aber keine Pflicht.
Kursinhalte
- NLU-Grundlagen, die Entscheidungen tragen
- Intent, Entity, Slot, Kontext: saubere Begriffe statt Ratespiele
- Pipeline-Denken: Tokenisierung, Embeddings, Klassifikation
- Fehlerbilder in der Praxis: Ambiguität, OOV, Drift
- Daten, die Modelle besser machen
- Annotation Guidelines und Label-Design
- Sampling, Balancing, Hard Negatives
- Datenschutz, PII-Handling, Logging-Strategien
- Intent Classification in der Realität
- Baselines vs. Transformer: wann was sinnvoll ist
- Thresholds, Abstention und Fallback-Intents
- Hierarchische Intents und Multi-Intent-Fälle
- Entity Recognition und Slot Filling
- Regex, Gazetteers, CRF, Transformer-NER
- Normalization: Datumswerte, Beträge, Produktcodes
- Konfliktlösung: Overlaps, Prioritäten, Post-Processing
- Evaluation, die nicht lügt
- Intent-Metriken: Accuracy, Macro-F1, Confusion Matrix
- Entity-Metriken: Span-F1, Partial Match, Exact Match
- Testsets: Challenge-Sets und Regression-Tests
- RAG, Tools und Agenten: wo NLU hineinpasst
- NLU als Router: Query Understanding für Retrieval
- Tool-Selection mit Intent- und Slot-Signalen
- Guardrails: Policy-Intents und sichere Übergaben
- Deployment und Betrieb
- Monitoring: Drift, Outliers, neue Themen
- Active Learning und Human-in-the-Loop
- Versionierung von Daten, Labels und Modellen
