Souveräne KI in der Verwaltung: On-Premise- und Open-Source-LLMs betreiben

Souveräne KI in der Verwaltung: On-Premise- und Open-Source-LLMs betreiben.

MODUL 01: WARUM SOUVERÄNE KI?

• Cloud-Risiken: Datenabfluss, Lock-in, Rechtslage (Schrems II)
• Open-Source-Modelle im Überblick: Llama, Mistral, Teuken und Co
• Leistungsvergleich: Was offene Modelle heute wirklich können
• Digitale Souveränität als strategisches Ziel der Verwaltung
• Ihre Ausgangslage: Welche Daten dürfen die Behörde nicht verlassen?

MODUL 02: BETRIEBSMODELLE

• On-Premise, kommunale Rechenzentren und souveräne Clouds
• Hardware-Anforderungen: GPU-Sizing und Kostenabschätzung
• Inference-Server: vLLM, Ollama, Hugging Face TGI
• Was Eigenbetrieb kostet – und was er spart
• Übung: Sie dimensionieren ein Setup für einen Anwendungsfall

MODUL 03: HANDS-ON DEPLOYMENT

• Übung: Sie stellen ein Open-Source-LLM lokal bereit (Ollama)
• RAG mit lokalen Modellen: Verwaltungswissen sicher anbinden
• Übung: Sie bauen einen lokalen Verwaltungs-Chatbot
• Der Aha-Moment: leistungsfähige KI, die den Server nie verlässt
• Qualität lokaler Modelle realistisch einordnen

MODUL 04: BETRIEB UND GOVERNANCE

• Zugriffskontrolle, Protokollierung und Mandantenfähigkeit
• Modell-Updates und Qualitätssicherung
• Wirtschaftlichkeit: Eigenbetrieb versus souveräne SaaS-Angebote
• Sicherheit nach BSI-Grundschutz
• Ihr Fahrplan zur souveränen KI-Plattform