Die Transformer-Architektur hinter KI und ChatGPT: Attention, Embeddings und Tokenisierung von Grund auf

Die Transformer-Architektur hinter KI und ChatGPT: Attention, Embeddings.

MODUL 01: VOM WORT ZUM VEKTOR

• Tokenisierung: Wie Text zu Zahlen wird
• Embeddings und der semantische Raum
• Positionskodierung
• Live-Demo: wie ein Satz in Tokens zerfällt
• Ihre Ausgangslage: Was ist an LLMs noch magisch für Sie?

MODUL 02: ATTENTION VERSTEHEN

• Self-Attention Schritt für Schritt
• Query, Key, Value anschaulich
• Übung: Sie berechnen Attention von Hand
• Der Aha-Moment: das Modell schaut auf die richtigen Wörter
• Warum Attention alles verändert hat

MODUL 03: DER TRANSFORMER-BLOCK

• Multi-Head Attention und Feed-Forward
• Residuals und Normalisierung
• Encoder, Decoder und reine Decoder-Modelle
• Übung: Sie skizzieren einen Transformer-Block
• Bausteine, die sich stapeln lassen

MODUL 04: VOM BLOCK ZUM LLM

• Wie die Vorhersage des nächsten Tokens funktioniert
• Skalierung und was dabei passiert
• Sampling: Temperatur, Top-k, Top-p
• Der Aha-Moment: Textgenerierung ist Wahrscheinlichkeit
• Grenzen und Fähigkeiten einordnen

MODUL 05: EINORDNUNG

• Was ein Mini-Transformer im Überblick leistet
• Vom Verständnis zur besseren Nutzung
• Fallstudie: eine Modellentscheidung nachvollziehen
• Was Sie über ChatGPT und Co jetzt wirklich wissen
• Ihr Fahrplan zum tieferen LLM-Verständnis