Kursbeschreibung
In diesem Seminar vergleichst Du Qwen und Alibaba Open Source Modelle mit dem Ziel, eine klare Auswahl für Deinen Anwendungsfall zu treffen und den späteren Betrieb von Anfang an mitzudenken. Du arbeitest nicht mit „Demo-Prompts“, sondern mit einer Methodik, die sich in PoCs und Produktteams bewährt: Modellfamilien einordnen, Anforderungen präzisieren, Tests definieren, Ergebnisse messen und Risiken bewerten. Du lernst, welche Unterschiede zwischen Qwen, Qwen2 und Qwen2.5 in der Praxis auffallen, wann Code-Modelle oder multimodale Varianten sinnvoll sind und welche Lizenzdetails Deine Deployment-Optionen einschränken oder ermöglichen. Ein Schwerpunkt liegt auf belastbarem Benchmarking. Du kombinierst öffentliche Benchmarks mit eigenen Testfällen, definierst Gold-Answers, baust Bewertungsroutinen und erkennst typische Fallstricke wie Datenleckage, Overfitting auf Testprompts oder irreführende Durchschnittswerte. Danach setzt Du Inference auf: vLLM, TGI oder Ollama werden anhand von Latenz, Throughput, Stabilität und Betriebsaufwand gegenübergestellt. Du verstehst, wie Quantisierung und Batch-Strategien die Kosten verändern und wie Du GPU-Bedarf realistisch planst. Für Wissensarbeit und Unternehmensdaten implementierst Du eine RAG-Pipeline mit Chunking, Embeddings und Re-Ranking. Du misst Retrieval-Qualität und Antworttreue, reduzierst Halluzinationen mit Guardrails und baust eine Update-Strategie mit Regressionstests. Abschließend behandelst Du Security, Compliance und Governance, damit Dein Modellvergleich nicht an Prompt Injection, fehlendem Logging oder unklaren Freigaben scheitert.
Die wichtigsten Themen im Überblick
- Qwen 3.5 und Alibaba-Modelle belastbar einordnen
- Benchmarks für Qualität, Safety und RAG sauber aufsetzen
- Inference mit vLLM, TGI und Ollama praxisnah planen
- Kosten, VRAM, Latenz und Throughput sicher bewerten
- RAG mit Qwen: Chunking, Re-Ranking und Guardrails anwenden
- Fine-Tuning mit LoRA und QLoRA sinnvoll entscheiden
- Lizenzen, Nutzungsgrenzen und Compliance prüfen
- LLM-Risiken wie Prompt Injection und Datenabfluss mindern
Zielgruppe
- ML Engineers und AI Engineers, die Modelle auswählen und betreiben
- Softwarearchitektinnen und Softwarearchitekten mit LLM-Verantwortung
- Data Scientists, die Evaluations- und RAG-Setups aufbauen
- IT-Security- und Governance-Verantwortliche für LLM-Freigaben
- Für alle, die Qwen und Alibaba Open Source Modelle belastbar vergleichen wollen
Voraussetzung für die Schulung
- Grundverständnis von LLMs, Prompts und API- oder Self-Hosting-Konzepten
- Erfahrung mit Python oder vergleichbarer Skriptlogik ist hilfreich
Kursinhalte
- Modelllandschaft verstehen
- Qwen 3.5: Einordnung und typische Einsatzfelder
- Text, Code, Vision, Audio: Welche Modellfamilie wofür?
- Vergleich zu anderen proprietären und Open Source Modellen
- Lizenzmodelle und Nutzungsgrenzen (kommerziell, Redistribution)
- Benchmarking, das Entscheidungen trägt
- Welche Benchmarks sinnvoll sind (MMLU, MT-Bench, HumanEval, RAG-Tests)
- Eigene Testsets aufbauen: Prompts, Gold-Answers, Bewertung
- Qualitätskriterien: Faktentreue, Robustheit, Safety, Stil
- Inference in der Praxis
- vLLM, TGI, Ollama: Stärken, Grenzen, Betriebskonzepte
- Quantisierung (int8, int4) und Auswirkungen auf Qualität
- GPU-Planung: VRAM, Throughput, Latenz, Batch-Strategien
- RAG mit Qwen sauber umsetzen
- Chunking, Embeddings, Re-Ranking und Prompt-Templates
- Halluzinationen reduzieren: Retrieval-Strategien und Guardrails
- Evaluation: Retrieval-Recall, Answer-Faithfulness, Kosten
- Fine-Tuning und Alignment
- LoRA/QLoRA: Wann es reicht und wann nicht
- Datensätze, Datenhygiene, Leakage und Rechte
- Offline-Evaluation und Regressionstests nach Updates
- Security, Compliance und Risiko
- Modellrisiken: Prompt Injection, Data Exfiltration, Jailbreaks
- Governance: Logging, Zugriffskontrollen, PII-Handling
- Entscheidungsvorlage: Risikoabwägung und Freigabeprozess
