093 - Így működik a ChatGPT

Láncreakció

Megkíséreljük leleplezni a varázslatot, ami a Transformer nyelvi modelleket képessé teszi a formailag szinte tökéletes beszélgetésre. Ehhez először belenézünk a neurális hálók és mélytanulás múltjába, ehhez olyan fogalmakat nézünk meg, mint a backpropagation, a Common Crawl szerepe a megfelelő méretű korpuszok létrejöttében, a rekurrens neurális hálózatok és az LSTM modellek, továbbá elhangzott az egyik atyamester, Yoshua Bengio neve is. Megérkezünk a Google 2017-es cikkéhez (Attention is all you need), amiből a BERT következett, majd az OpenAI-féle GPT-hez. További részletekhez ajánljuk az NLP Demystified oldalt. Az is kiderült, hogy Gyuri a teszteléshez Feri másik műsorát, a csúnyarosszmajom podcastot használta.