Kursbeschreibung
In vielen Teams scheitert der Einsatz eines OpenSource LLM nicht am Modell, sondern an fehlenden Standards: unklare Lizenzlage, wackelige Deployments, keine Tests und zu wenig Schutz gegen Datenabfluss. Dieses Seminar schafft eine belastbare Grundlage für Kimi K2.5. Du lernst zuerst, das Modell realistisch zu bewerten und die Begriffe Open-Weights und OpenSource korrekt zu trennen, damit Du Nutzung, Weitergabe und Compliance sauber diskutieren kannst. Danach gehst Du in die Umsetzung: Du erhältst einen Überblick über gängige Inference-Engines und typische Betriebsformen in Container- und VM-Umgebungen. Du verstehst, welche Stellschrauben Latenz und Durchsatz beeinflussen und wie Du CPU- und GPU-Ressourcen sinnvoll planst. Im nächsten Schritt machst Du die Ergebnisse stabil. Du arbeitest mit Prompt-Strukturen, die Anforderungen, Kontext und Ausgabeformat klar trennen, und Du steuerst die Varianz über Temperatur, Top-p und Seeds. Statt Bauchgefühl nutzt Du einfache, aber effektive Evaluation: Goldensets, Regression-Checks und Kriterien, die Fachbereich und IT gemeinsam akzeptieren. Damit Kimi K2.5 mit internen Dokumenten arbeiten kann, baust Du ein RAG-Konzept auf und lernst, wie Chunking, Metadaten, Retrieval und Re-Ranking zusammenspielen. Ein eigener Block widmet sich Sicherheit und Datenschutz: Prompt Injection, Logging, Redaction und Secrets-Handling. Am Ende nimmst Du eine konkrete Übergabe- und Betriebscheckliste mit, die Integration über REST-API oder Batch-Jobs einschließt und Rollen zwischen Fachbereich, IT, Security und Legal klar macht.
Die wichtigsten Themen im Überblick
- Kimi K2.5 als OpenSource LLM sicher einordnen
- Lokales LLM-Setup mit vLLM, llama.cpp und Ollama planen
- CPU, GPU und Speicherbedarf für Inference bewerten
- Prompts, Temperatur und Seed für robuste Outputs steuern
- RAG mit eigenen Daten, Quellen und Guardrails umsetzen
- Evaluation mit Goldensets und Regression-Checks aufbauen
- Datenschutz, Governance und Prompt-Injection-Risiken prüfen
- Kimi K2.5 per REST-API in Workflows integrieren
Zielgruppe
- IT-Administratoren und Plattform-Teams, die ein LLM intern betreiben wollen
- Data- und AI-Engineers, die Inference, RAG und Evaluation aufsetzen
- Security, Datenschutz und Compliance, die Risiken bewerten und Controls definieren
- Produktverantwortliche und Prozessverantwortliche, die LLM-Workflows einführen
- Für alle, die Kimi K2.5 als OpenSource LLM praktisch einsetzen und verantwortbar betreiben wollen
Voraussetzung für die Schulung
- Grundverständnis von APIs, Container- oder VM-Betrieb und Dateiformaten (z. B. PDF, HTML, Markdown).
- Keine Data-Science-Vorkenntnisse erforderlich, hilfreich ist Erfahrung mit technischen Workflows.
Kursinhalte
- Kimi K2.5 verstehen und einordnen
- Modellfamilie, Stärken, typische Grenzen
- Open-Weights vs. OpenSource: Lizenz- und Nutzungslogik
- Wann Kimi K2.5 besser passt als API-Modelle
- Lokales Setup und Laufzeit-Optionen
- Inference-Stacks: vLLM, llama.cpp, Ollama (Überblick)
- CPU vs. GPU: Performance, Kosten, Speicherbedarf
- Container- und VM-Deployment in der Praxis
- Prompting, Output-Qualität und Tests
- Prompt-Strukturen für robuste Ergebnisse
- Determinismus, Temperatur, Top-p, Seed
- Evaluation light: Goldensets, Regression-Checks
- RAG mit eigenen Daten ohne Datenchaos
- Chunking, Metadaten, Retrieval-Strategien
- Embeddings, Vektordatenbank, Re-Ranking (Konzept)
- Antworten belegbar machen: Quellen, Zitate, Guardrails
- Sicherheit, Datenschutz und Governance
- Prompt Injection und Datenabfluss: typische Angriffe
- Logging, Redaction, Secrets-Handling
- Freigabeprozesse, Policies, Modellkarten im Unternehmen
- Integration in Prozesse und Tools
- REST-API, Batch-Jobs, Automatisierung in Workflows
- Rollen: Fachbereich, IT, Security, Legal
- Von PoC zu Betrieb: Checkliste für die Übergabe
