Kursbeschreibung
Reinforcement Learning wirkt oft wie Magie, bis du es als Engineering-Disziplin behandelst: Problemformulierung, Messbarkeit, Stabilität und saubere Experimente. In diesem Seminar entwickelst du genau diese Perspektive. Du beginnst mit den Grundlagen, die in Projekten wirklich zählen: MDP, Return und Discounting, Policy versus Value Function sowie die Konsequenzen von partieller Beobachtbarkeit und stochastischen Umgebungen. Du lernst, welche Signale Trainingskurven liefern und wie du aus Instabilität konkrete Hypothesen ableitest. Danach arbeitest du dich durch die zentralen Verfahren. Du nutzt Dynamic Programming als Orientierung, setzt Monte Carlo und Temporal Difference ein und implementierst Q-Learning und SARSA inklusive typischer Erweiterungen wie Eligibility Traces. Anschließend gehst du zu Deep RL und baust DQN so auf, dass es nicht bei den ersten Experimenten scheitert: Experience Replay, Target Networks, sinnvolle Exploration-Strategien und ein Logging-Setup, das Debugging ermöglicht. Im zweiten Teil fokussierst du auf Policy-Optimierung: REINFORCE, Varianzreduktion über Baselines sowie Actor-Critic mit Advantage und GAE. PPO behandelst du als praxisbewährte Option und verstehst, wann es gegenüber value-basierten Methoden Vorteile bringt. Ein eigener Block widmet sich Reward Design und Safety: Reward Shaping ohne Reward Hacking, Constraints, Penalties und Safety Checks. Außerdem diskutierst du Offline vs. Online RL, damit du Datenrisiken und Deployment-Grenzen realistisch einschätzen kannst. So kannst du RL-Projekte planbar aufsetzen und Ergebnisse belastbar kommunizieren.
Die wichtigsten Themen im Überblick
- Reinforcement Learning mit MDPs, Rewards und Policies verstehen
- Agenten mit Q-Learning, SARSA und DQN trainieren
- Exploration und Exploitation gezielt ausbalancieren
- Policy Gradients, Actor-Critic und PPO praktisch anwenden
- Rewards gestalten, ohne Reward Hacking zu fördern
- Trainingskurven lesen und RL-Experimente reproduzieren
- Gymnasium-Environments für eigene Agenten aufsetzen
- RL-Prototypen mit Logging, Metriken und Monitoring bewerten
Zielgruppe
- Machine-Learning-Engineers und Data Scientists
- Softwareentwicklerinnen und Softwareentwickler mit ML-Bezug
- Forschungs- und Innovations-Teams in Produktentwicklung
- MLOps- und Plattform-Teams, die RL-Prototypen betreuen
- Für alle, die Agenten bauen wollen, die durch Belohnung lernen und Entscheidungen in Simulationen nachvollziehbar verbessern.
Voraussetzung für die Schulung
- Solide Python-Grundlagen und Erfahrung mit Jupyter-Workflows
- Grundverständnis von Machine Learning und neuronalen Netzen ist hilfreich
Kursinhalte
- RL-Grundlagen, Begriffe, Denkmodelle
- MDP, Zustände, Aktionen, Rewards, Episoden
- Policy, Value Function, Return, Discounting
- Exploration vs. Exploitation und typische Fallstricke
- Value-based Methoden: Von Tabular bis Deep
- Dynamic Programming, Monte Carlo, Temporal Difference
- Q-Learning, SARSA, Eligibility Traces
- Deep Q-Networks (DQN): Stabilität, Replay, Target Networks
- Policy Gradients und Actor-Critic
- REINFORCE, Baselines und Varianzreduktion
- Advantage, GAE und Actor-Critic-Intuition
- PPO: warum es in der Praxis oft gewinnt
- Reward Design und sichere Lernumgebungen
- Reward Shaping ohne „Reward Hacking“
- Constraints, Penalties, Safety Checks
- Offline vs. Online RL: Datenqualität und Risiken
- Experiment-Setup, Debugging, Evaluation
- Trainingskurven richtig lesen: Instabilität, Collapse, Overfitting
- Seed-Management, Reproduzierbarkeit, Ablations
- Metrics: Sample Efficiency, Regret, Robustheit
- Praxisprojekte: Von der Idee zum lauffähigen Agenten
- Gymnasium-Umgebungen und eigene Environments
- Hyperparameter, Normalisierung, Logging
- Deployment-Denken: Grenzen, Monitoring, Drift
