vLLM KI-Tageskurs inhouse: Sprachmodelle für viele Nutzer gleichzeitig betreiben

vLLM: ein Sprachmodell für viele Nutzer gleichzeitig betreiben — KI-Tageskurs.

MODUL 01: VLLM EINORDNEN UND EINRICHTEN

• Wann ein einzelner Arbeitsplatzbetrieb nicht mehr ausreicht
• Installation und Start eines Modells als Dienst
• Hardware richtig auslegen: Speicher, Grafikkarte, Durchsatz
• Einordnung im KI-Werkzeugkasten: Sprachmodelle im eigenen Haus statt in der Cloud

MODUL 02: DIE OBERFLÄCHE SICHER BEDIENEN

• Die Schnittstelle als Ersatz für einen Anbieterzugang nutzen
• Mehrere Anfragen gleichzeitig: was im Hintergrund passiert
• Messwerte lesen: Wartezeit, Durchsatz, Auslastung
• Übung: die ersten eigenen Schritte am Rechner

MODUL 03: DER ERSTE ECHTE VORGANG

• Ein Modell wird für eine Abteilung produktiv bereitgestellt
• Lasttest mit realistischer Nutzerzahl
• Anbindung an Open WebUI oder eine eigene Anwendung
• Übung: ein mitgebrachter Fall wird umgesetzt

MODUL 04: QUALITÄT, KI-RECHT UND KOSTEN

• Verfügbarkeit, Ausfall und Wiederanlauf
• Kostenvergleich Eigenbetrieb gegen Abrechnung nach Verbrauch
• KI-Verordnung, Datenschutz und Mitbestimmung im Betrieb
• Was der Betrieb monatlich zahlt und wie er wieder aussteigt

MODUL 05: EINFÜHRUNG IM BETRIEB

• Wer im Haus die Verantwortung übernimmt
• Vorlagen und Konventionen für das Team sichern
• Woran Sie merken, dass ein KI-Anwendungsfall nicht trägt
• Nächster Schritt mit Aufwandsschätzung