Reise ins Innere des LLM: ChatGPT & Co wirklich verstehen

Reise ins Innere des LLM: ChatGPT & Co wirklich verstehen mit KI.

MODUL 01: GRUNDLAGEN NEURONALER NETZE UND SPRACHMODELLIERUNG

• Kurze Einführung in KI, ML und neuronale Netze
• Von N-Grammen zu neuronalen Sprachmodellen
• Word Embeddings: One-Hot, Word2Vec, GloVe
• Limitierungen klassischer Modelle

MODUL 02: DIE TRANSFORMER-ARCHITEKTUR VERSTEHEN

• Das 'Attention is All You Need'-Papier im Überblick
• Self-Attention und seine Bedeutung
• Multi-Head Attention: Struktur, Nutzen, Visualisierung
• Positionale Encodings und warum sie nötig sind

MODUL 03: TRAINING GROSSER SPRACHMODELLE

• Trainingsdaten: Umfang, Vielfalt, Vorverarbeitung
• Phasen des Trainings: Pretraining vs. Finetuning
• Loss-Funktion, Optimierung und Skalierungsstrategien
• Rechenressourcen und Herausforderungen beim LLM-Training

MODUL 04: LLMS IM EINSATZ: CHATGPT UND ANWENDUNGEN

• Wie ChatGPT Texte verarbeitet: Pipeline von Prompt zu Output
• Tokenisierung und Decoding-Strategien (Greedy, Beam, Sampling)
• Anwendungsbeispiele: Chatbots, Texte, Code, Datenanalyse
• Grenzen, Fehlerquellen und Halluzinationen

MODUL 05: PRAKTISCHER TEIL: PROMPTS UND KONTROLLE

• Einführung in Prompt Engineering
• Systemprompts, Few-Shot, Zero-Shot und Chain-of-Thought
• Best Practices: Klarheit, Zieldefinition, Iteration
• Mini-Workshop: Eigene Prompts entwerfen und testen