Episode 215: Wenn Rauschen zu Geschichten wird - Wie Transformer halluzinieren

Knowledge Science - Alles über KI, ML und NLP

A tartalmat a Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.

23d ago 36:20

MP3•Epizód kép

Send us a text

Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.

AI Transparency Days: www.edif.ai/events

Paper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938

Support the show

246 epizódok

#Technologie #Bildung #Sigurd Schacht, Carsten Lanquillon #Carsten Lanquillon #Sigurd Schacht #Wissenschaft #Künstliche Intelligenz