Reise ins Innere der KI: LLM von Grund auf verstehen

Reise ins Innere der KI: LLM von Grund auf verstehen — Von n-Grammen über Word2Vec zu GPT.

MODUL 01: EVOLUTION DER SPRACHMODELLE

• Von n-Grammen über Word2Vec zu GPT
• Sprachverständnis als Wahrscheinlichkeitsproblem
• Anwendungsfelder und Auswirkungen von LLMs
• Beispiel: GPT-2 Output rekonstruiert

MODUL 02: REPRÄSENTATIONEN & EMBEDDINGS

• One-Hot-Encoding vs. Dense Embedding
• Tokenisierung, Vektorräume, Bedeutung durch Nähe
• Mathematische Grundlagen: Kosinusabstand, Matrixmultiplikation
• Übung: Vektorraumvisualisierung in 2D/3D

MODUL 03: ARCHITEKTUR EINES LLM – ÜBERBLICK

• Encoder, Decoder, Self-Attention
• Multi-Head-Attention & Positionale Kodierung
• Residuals, Layer Norms, Feedforward-Netze
• Visualisierung: GPT-Block zerlegt

MODUL 04: DER ATTENTION-MECHANISMUS IM DETAIL

• Warum Attention > RNN?
• Skalierte Dot-Product Attention erklärt
• Maskierung, Causal Attention
• Rechenübung: Attention Score berechnen

MODUL 05: TRAINING EINES LLM – VOM TOKEN ZUR VORHERSAGE

• Trainingsdaten, Zielgröße, Loss-Funktion (Cross-Entropy)
• Optimierung mit Backpropagation & Gradient Descent
• GPU-Einsatz, Batch-Größe, Lernrate
• Demo: Kleines LLM trainieren mit tinygrad oder transformers

MODUL 06: TEXTGENERIERUNG UND PROMPTSTEUERUNG

• Sampling-Strategien: Greedy, Top-k, Nucleus
• Temperature, Logits, Prompt Engineering
• Prompt-Muster: Chain-of-Thought, Few-Shot, Zero-Shot
• Übung: Output lenken durch Promptvarianten

MODUL 07: GRENZEN UND FEHLER VON LLMS

• Halluzinationen, Bias, Rechenlogik
• Erklärbarkeit und Unsicherheit
• Prompt-Injektion, Jailbreaking
• Diskussion: Kann man GPT „verstehen“?

MODUL 08: WEITERENTWICKLUNG & AKTUELLE TRENDS

• Fine-Tuning, Adapter, Retrieval-Augmented Generation
• Multimodale Modelle, Mixture of Experts
• Quantisierung, Distillation, effiziente Modelle
• Beispiel: LLaMA vs. GPT vs. Mistral

MODUL 09: TRANSFER & ANWENDUNGSFÄLLE

• Modellarchitektur erklären können
• Grenzen im Unternehmen erkennen
• Reflektierter Umgang mit GenAI-Tools
• Abschlussübung: Architektur in 3 Minuten erklären