TagesseminarKI-Grundlagen, Strategie & Technologie
KI-Agenten testen, evaluieren und absichern
Ganztägiges Seminar, das ein KI-Thema fundiert und praxisnah vermittelt.
KI-Agenten testen, evaluieren und absichern: Test-Pyramide für agentische Systeme.
MODUL 01: WARUM AGENTEN-TESTING ANDERS IST
- Nichtdeterminismus, lange Trajektorien, Seiteneffekte
- Fehlerbilder: Schleifen, Tool-Missbrauch, Zielabweichung
- Test-Pyramide für agentische Systeme
- Warum klassisches Unit-Testing hier nicht reicht
- Ihre Ausgangslage: Wie testen Sie Ihre Agenten heute?
MODUL 02: EVALUATION IN DER PRAXIS
- Eval-Datensätze aufbauen: Aufgaben, Erwartungen, Metriken
- LLM-as-a-Judge: Möglichkeiten und Fallstricke
- Übung: Sie setzen eine Eval-Suite für einen Agenten auf
- Der Aha-Moment: die Regression, die Sie sonst übersehen hätten
- Vertrauen durch Messbarkeit
MODUL 03: SICHERHEIT
- Prompt Injection über Webseiten, Dokumente und Tool-Ausgaben
- Sandboxing, Berechtigungsgrenzen und Budgets
- Red Teaming: Agenten gezielt angreifen (Übung)
- Die häufigsten Sicherheitslücken agentischer Systeme
- Absichern, bevor der Agent produktiv geht
MODUL 04: BETRIEB
- Tracing und Observability (LangSmith, OpenTelemetry)
- Regression-Erkennung bei Modell- und Prompt-Updates
- Incident-Prozesse für Agentenfehler
- Übung: Sie richten ein Monitoring für einen Agenten ein
- Ihr Fahrplan für sichere, verlässliche Agenten