Kursbeschreibung
Der Kurs vermittelt Dir die Fähigkeit, Vektordatenbanken als produktionsreife Komponente einer KI-Architektur zu behandeln. Du lernst, welche Entscheidungen auf Daten- und Index-Ebene später Kosten, Latenz und Qualität bestimmen. Dazu gehören Embeddings, Distanzmetriken und vor allem die Aufbereitung der Quellen: Chunking, Overlap, Struktur aus Dokumenten sowie Versionierung und Deduplication. Du entwickelst ein Gefühl dafür, welche Daten in die Vector-DB gehören, wie Metadaten modelliert werden und wie Du Zitierfähigkeit und Nachvollziehbarkeit im Retrieval sicherstellst. Im Performance-Teil gehst Du in ANN-Indizes und ihre Trade-offs: HNSW für schnelle Nachbarschaftssuche, IVF für kontrollierte Partitionierung und PQ für Speicheroptimierung. Du setzt Filter und Hybrid Search ein, damit Retrieval nicht nur semantisch, sondern auch fachlich korrekt eingeschränkt wird. Mit Two-Stage Retrieval und Re-Ranking erhöhst Du die Präzision, ohne die Latenz aus dem Ruder laufen zu lassen. Gleichzeitig lernst Du, wie Du Qualität mit geeigneten Metriken und Golden Sets kontinuierlich überprüfst. Für die Architektur behandelst Du Managed vs. Eigenbetrieb, Sharding, Replikation, Konsistenz, Caching und Multi-Tenancy. Der Betriebsteil deckt Observability ab: Tracing von Retrieval-Latenz, Token-Kosten, Cache-Hits sowie Monitoring von Index-Gesundheit. Security und Compliance sind kein Anhang, sondern Bestandteil der Umsetzung: PII-Handling, Zugriffskontrollen, Verschlüsselung, Audit-Logs, Retention und Löschkonzepte sowie Schutz gegen Prompt-Injection und Retrieval-Manipulation. Danach kannst Du Vector-DB-RAG-Systeme robust implementieren und verantwortungsvoll betreiben.
Die wichtigsten Themen im Überblick
- Vector-DB-Architekturen für stabile RAG-Systeme planen
- Embeddings, Chunking und Ähnlichkeitsmaße sicher bewerten
- ANN-Indizes für Latenz, Recall und Kosten optimieren
- Hybrid Search, Filter und Re-Ranking gezielt einsetzen
- RAG-Ingestion mit Upserts und Re-Embedding robust aufbauen
- Retrieval mit Recall@k, MRR und Golden Sets messen
- Latenz, Token-Kosten und Index-Gesundheit überwachen
- KI-Datenflüsse mit Audit-Logs und Zugriffskontrollen schützen
Zielgruppe
- Machine-Learning Engineers und Data Scientists mit Produktverantwortung
- Software Engineers und Architektinnen, die RAG-Systeme bauen
- Plattform- und DevOps-Teams, die Vector-DBs betreiben
- IT-Security und Compliance, die KI-Datenflüsse bewerten
- Alle, die Retrieval für KI-Anwendungen zuverlässig und überprüfbar machen wollen
Voraussetzung für die Schulung
- Grundkenntnisse in KI/LLM-Konzepten und APIs, z. B. Embeddings und Prompting.
- Erfahrung mit Datenpipelines oder Backend-Entwicklung ist hilfreich.
Kursinhalte
- Vektor-Suche, Embeddings, Retrieval
- Embedding-Modelle, Dimensionen, Normalisierung
- Ähnlichkeitsmaße: Cosine, Dot, L2, MIPS
- Chunking-Strategien, Overlap, Struktur aus Dokumenten
- Qualitätsmetriken: Recall@k, MRR, NDCG
- Index-Design und Performance
- ANN-Grundlagen: HNSW, IVF, PQ und Trade-offs
- Index-Parameter, Build-Zeit vs. Query-Latenz
- Filtering: Metadata, Hybrid Search, Sparse + Dense
- Re-Ranking und Two-Stage Retrieval
- Architekturentscheidungen für Vector Databases
- Eigenbetrieb vs. Managed, Kosten- und Betriebsmodell
- Sharding, Replikation, Konsistenz und Verfügbarkeit
- Cold/Hot Storage, Caching, Speicherkosten
- Multi-Tenancy, Namespaces, Isolation
- Implementierung einer RAG-Pipeline
- Ingestion: Parser, Cleaning, Dedup, Versionierung
- Upserts, Deletes, Re-Embedding und Backfills
- Prompt- und Kontextaufbau, Zitierfähigkeit
- Fehlerbilder: Halluzinationen, Drift, Datenlücken
- Observability, Evaluation, Betrieb
- Tracing: Retrieval-Latenz, Token-Kosten, Cache-Hits
- Offline- und Online-Evaluation, Golden Sets
- Monitoring von Index-Gesundheit und Datenqualität
- Rollback-Strategien und sichere Releases
- Sicherheit, Compliance, Governance
- PII-Handling, Zugriffskontrollen, Mandantenfähigkeit
- Verschlüsselung, Schlüsselmanagement, Audit-Logs
- Data Residency, Löschkonzepte, Retention
- Prompt-Injection und Retrieval-Manipulation
