KI-Anwendungen messbar betreiben: Qualität, Kosten und Anbieterwechsel

IT-Leitung: KI-Anwendungen messbar betreiben — Qualität, Kosten, Wechsel.

MODUL 01: WAS IM KI-BETRIEB GEMESSEN GEHÖRT

• Anfragen, Antwortzeiten, Kosten und Fehlerbilder je Anwendung
• Der Unterschied zwischen Verfügbarkeit und Antwortqualität
• Warum ein Sprachmodell schleichend schlechter werden kann
• Ein Messplan für Ihre Anwendungen entsteht

MODUL 02: QUALITÄT AUTOMATISCH PRÜFEN

• Testfälle mit bekannter Antwort als laufende Kontrolle
• Automatische Prüfungen bei jeder Änderung an Anweisung oder Modell
• Was sich automatisch prüfen lässt und was Menschen bewerten müssen
• Übung: Eine Prüfstrecke wird eingerichtet

MODUL 03: KOSTEN STEUERN

• Kosten je Anfrage, je Nutzer und je Abteilung sichtbar machen
• Obergrenzen, Warnungen und Notbremsen
• Wo teure Modelle durch günstigere ersetzt werden können
• Die Rechnung des letzten Monats wird gemeinsam auseinandergenommen

MODUL 04: DEN ANBIETERWECHSEL OFFENHALTEN

• Was Sie technisch tun müssen, um wechselfähig zu bleiben
• Ein Modellwechsel wird vollständig durchgespielt und gemessen
• Welche Daten und Vorlagen Ihnen gehören müssen
• Der Ausstiegspfad wird dokumentiert

MODUL 05: BERICHT AN DIE LEITUNG

• Aus Betriebsdaten wird ein verständlicher Monatsbericht
• Welche Aussagen die Zahlen tragen und welche nicht
• Vorschläge, die aus den Zahlen folgen
• Der Berichtsweg wird verabredet