Kursbeschreibung
Viele Teams scheitern mit Vektordatenbanken nicht an der API, sondern an Entscheidungen, die zu früh „irgendwie“ getroffen werden: Chunking ohne Ziel, Metadaten ohne Plan, und Abfragen, die keine reproduzierbare Qualität liefern. In diesem Kurs baust Du Dir eine belastbare Grundlage für Pinecone und Weaviate in der Cloud auf. Du verstehst die Mechanik hinter Embeddings, Distanzmaßen und Ranking, und Du lernst, wie Hybrid Search die Lücke zwischen klassischer Suche und semantischer Ähnlichkeit schließt. Dabei arbeitest Du bewusst mit den typischen Zielkonflikten: Recall gegen Latenz, Qualität gegen Kosten, Flexibilität gegen Governance. Anschließend entwirfst Du ein Schema, das zu realen Daten passt: sinnvolle Metadaten, klare Trennung von Datenräumen und ein Zugriffskonzept über API-Keys und Netzwerkregeln. Du setzt eine Ingestion-Pipeline auf, die auch bei wiederholten Läufen stabil bleibt: Idempotente Upserts, Batching und eine Versionierung von Embeddings, damit Modellupdates kontrolliert getestet werden können. Im Abfrage-Teil entwickelst Du Query-Patterns für RAG, inklusive Filterlogik, Diversität mit MMR und optionalem Re-Ranking. Damit Du Ergebnisse nicht nur „gut findest“, definierst Du eine kleine Ground Truth und misst Qualität mit Hit@k und NDCG. Zum Abschluss klärst Du Betriebsfragen, die für Cloud-Setups entscheidend sind: Monitoring von Latenz und Fehlern, Kostenhebel im Index, Mandantenfähigkeit sowie DSGVO-nahe Themen wie Datenminimierung und Löschkonzepte. Ergebnis ist ein praxisnaher Blueprint für ein Vektor-Backend, das in Projekten wirklich trägt.
Die wichtigsten Themen im Überblick
- Vektorsuche mit Embeddings, Top-k und Filtern verstehen
- Pinecone und Weaviate sicher in der Cloud einrichten
- Schema, Metadata und Namespaces passend modellieren
- Chunking, Batching und Upserts für stabile Pipelines nutzen
- Hybrid Search und Re-Ranking für bessere Treffer anwenden
- RAG-Queries mit Quellenbelegen und Prompt-Übergabe bauen
- Recall, Latenz und Kosten im Vektorindex gezielt steuern
- Monitoring, Mandantenfähigkeit und DSGVO-Praxis umsetzen
Zielgruppe
- Data Engineers und ML Engineers, die Retrieval-Backends aufbauen
- Softwareentwicklerinnen und Softwareentwickler, die RAG in Produkte integrieren
- Cloud Architects und Plattform-Teams mit Verantwortung für Betrieb und Sicherheit
- Product Owner und Tech Leads, die Pinecone oder Weaviate bewerten müssen
- Für alle, die semantische Suche und RAG belastbar in der Cloud umsetzen wollen
Voraussetzung für die Schulung
- Grundverständnis von APIs und JSON sowie praktische Erfahrung mit Cloud-Anwendungen.
- Hilfreich sind Grundkenntnisse zu Embeddings oder Information Retrieval, aber nicht zwingend.
Kursinhalte
- Vektorsuche verstehen statt raten
- Embeddings, Ähnlichkeitsmaße, Top-k und Filter
- Index-Typen, Recall vs. Latenz, Kostenhebel
- Hybrid Search: Keyword plus Vektor
- Cloud-Grundlagen für Pinecone und Weaviate
- Architektur: Collections, Namespaces, Tenants
- Dimensionen, Metadata, Schema-Design
- Auth, API-Keys, Netzwerkzugriff
- Datenpipeline: vom Text zum Index
- Chunking-Strategien und Overlap
- Batching, Upserts, Idempotenz
- Versionierung von Embeddings
- Abfragen, Re-Ranking und Qualität
- Query-Patterns für RAG
- Filter, Scoring, MMR und Diversität
- Evaluation: Ground Truth, NDCG, Hit@k
- Betrieb, Sicherheit und Governance
- Mandantenfähigkeit, Zugriffskontrollen
- Monitoring: Latenz, Durchsatz, Fehlerbilder
- DSGVO-Praxis: Datenminimierung, Löschung
- Praxisprojekt: Mini-RAG-Backend
- Ingestion, Index-Aufbau, Query-API
- Prompt-Übergabe und Quellenbelege
- Fehleranalyse und Tuning-Checkliste
