Informationstheorie für KI: Entropie, Kompression und was Modelle wissen

Informationstheorie für KI: Entropie, Kompression und was Modelle wissen.

MODUL 01: INFORMATION MESSEN

• Entropie und Informationsgehalt
• Kreuzentropie und KL-Divergenz
• Bezug zu Loss-Funktionen
• Live-Demo: wie viel Information steckt in einer Nachricht?
• Ihre Ausgangslage: Warum Informationstheorie für KI zählt

MODUL 02: KOMPRESSION UND LERNEN

• Lernen als Kompression verstehen
• Minimum Description Length
• Warum Vorhersage und Kompression verwandt sind
• Übung: Sie verbinden Kompression und Modellgüte
• Der Aha-Moment: verstehen heißt komprimieren

MODUL 03: ANWENDUNG IN ML

• Information Gain in Entscheidungsbäumen
• Mutual Information für Feature-Auswahl
• Übung: Sie berechnen Entropie und Information
• Von der Theorie zum Feature Engineering
• Nützliche Werkzeuge aus der Informationstheorie

MODUL 04: LLMS INFORMATIONSTHEORETISCH

• Perplexität verstehen und interpretieren
• Was Modelle über Sprache 'wissen'
• Übung: Sie bewerten Modellgüte informationstheoretisch
• Der Aha-Moment: ein Maß dafür, wie überrascht ein Modell ist
• Modelle fundierter vergleichen

MODUL 05: EINORDNUNG

• Grenzen des informationstheoretischen Blicks
• Fallstudie: zwei Modelle sauber vergleichen
• Vom Konzept zur Praxis
• Was bleibt hängen
• Ihr Fahrplan zum informationstheoretischen Verständnis