Kursbeschreibung
Dieses Seminar verbindet TinyML-Entwicklung mit den Anforderungen von Embedded Defense: robuste Sensor-Inferenz, nachvollziehbare Optimierung und kontrollierbares Deployment. Du startest mit einer systematischen Betrachtung von Sensorströmen wie Audio, IMU oder Vibration und der Frage, welche Informationen Du sinnvoll on-device extrahierst, statt Rohdaten zu übertragen. Du definierst Metriken, die in taktischen Anwendungen wirklich zählen, zum Beispiel False Positive Rate unter Störbedingungen, stabile Latenz und deterministisches Speicherverhalten. Darauf aufbauend erstellst Du eine Daten- und Experimentstruktur, die spätere Quantisierung nicht sabotiert: konsistente Splits, Leakage-Vermeidung, Versionierung von Datensätzen und klare Baselines. Du setzt Feature Engineering für Zeitreihen ein, etwa FFT-basierte Spektralmerkmale oder kompakte statistische Features, und wählst Modellarchitekturen, die mit begrenzten Ressourcen auskommen. Du lernst, wie Du mit Kaskaden und Early-Exit Energie sparst, ohne die Erkennungsleistung zu verlieren. Der Schwerpunkt liegt auf Quantisierung und Kompression. Du setzt Post-Training Quantization und Quantization-Aware Training zielgerichtet ein, wählst Calibration-Daten, entscheidest zwischen per-channel und per-tensor und verstehst, wie Quantisierungsparameter die Inferenz beeinflussen. Du ergänzt das durch Structured Pruning und Distillation, damit die Kompression messbare Laufzeitvorteile bringt. Abschließend deployest Du mit TensorFlow Lite Micro, nutzt CMSIS-NN, profilierst Speicher und Zykluszeiten und planst Tests, Drift-Erkennung und eine Baseline-Härtung gegen Signal- und Adversarial-Einflüsse.
Die wichtigsten Themen im Überblick
- Robuste TinyML-Modelle für taktische Sensorik bauen
- Sensor-Pipelines ohne Data Leakage aufsetzen
- FFT, Mel-Features und Spectrogramme praxisnah nutzen
- Modelle mit PTQ und QAT sauber quantisieren
- INT8-Fehler mit Calibration-Daten gezielt beheben
- TinyML-Inferenz auf MCU und Edge-SoCs deployen
- Latenz, RAM, Flash und Energie per Profiling optimieren
- Edge-AI gegen Drift und Signal-Angriffe härten
Zielgruppe
- Embedded-Entwicklerinnen und Embedded-Entwickler mit ML-Bezug
- Data Scientists, die Edge-Deployment verantworten
- Systemingenieurinnen und Systemingenieure für Sensorik und Signalverarbeitung
- Security Engineers mit Fokus auf Edge-Angriffsflächen
- Für alle, die TinyML-Modelle für taktische Sensoren quantisieren und auf Embedded Targets betreiben wollen.
Voraussetzung für die Schulung
- Grundkenntnisse in Machine Learning und Modelltraining (z. B. Klassifikation).
- Basisverständnis für Embedded-Systeme und C/C++ oder vergleichbare Low-Level-Konzepte ist hilfreich.
Kursinhalte
Use-Cases taktischer Sensorik
- Signal- und Sensordaten: Audio, Vibration, IMU, Radar-Features
- On-device Inferenz: Latenz, Energie, Bandbreite, EMV-Randbedingungen
- Threat Modeling: Angriffsflächen bei Edge-AI
Datenpipeline & Feature Engineering
- Sampling, Windowing, Overlap, Labeling-Strategien
- FFT, Mel-Features, Statistical Features, Spectrogramme
- Datensplits, Leakage vermeiden, reproduzierbare Experimente
Modellarchitekturen für TinyML
- 1D-CNNs, DS-CNN, kleine RNNs, Temporal Convolutions
- Trade-offs: Accuracy vs. Footprint vs. Latenz
- Early-Exit und Kaskaden für Energieeinsparung
Quantisierung richtig machen
- Post-Training Quantization (PTQ) vs. Quantization-Aware Training (QAT)
- INT8, per-channel vs. per-tensor, Calibration-Daten
- Quantisierungsfehler diagnostizieren und beheben
Pruning, Distillation & Kompression
- Structured Pruning für echte Speed-ups
- Knowledge Distillation für kleine Modelle
- Speicherlayout, Operator-Fusion, Lookup-Tabellen
Deployment auf Embedded Targets
- TensorFlow Lite Micro: Operatoren, Memory Arena, Debugging
- CMSIS-NN und Hardwarebeschleuniger-Grundlagen
- Profiling: Zykluszeiten, RAM/Flash, Energieabschätzung
Robustheit, Tests und Betrieb
- Confusion Matrix, ROC, FPR unter Einsatzbedingungen
- Drift-Erkennung, Re-Calibration, Update-Strategien
- Adversarial/Signal-Angriffe: Baseline-Härtung
