))
💻 MacBehaviour: Experimentação Comportamental em LLMs
Manage episode 517345226 series 3268663
A tartalmat a Educação Felipe Brito biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Educação Felipe Brito vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.
O artigo apresenta "MacBehaviour", um pacote R que visa simplificar e padronizar a condução de experimentos comportamentais em uma vasta gama de Modelos de Linguagem Grande (LLMs), tratando-os como participantes em estudos psicológicos. O pacote foi desenvolvido para abstrair as complexidades de programação e protocolos de API, permitindo que pesquisadores se concentrem no design experimental para modelos como GPT, Claude e Llama. Para validar sua utilidade, os autores realizaram três experimentos que replicaram a associação entre som e gênero em LLMs, demonstrando que esses modelos exibem tendências de inferência de gênero semelhantes às humanas com base na fonologia de nomes. Os experimentos de validação utilizaram diferentes designs (múltiplos-testes-por-execução e um-teste-por-execução) e coleta de probabilidades de token, destacando a importância da padronização dos procedimentos para garantir a comparabilidade e reprodutibilidade dos resultados em pesquisa de comportamento de máquina. Em suma, o pacote MacBehaviour oferece uma ferramenta acessível e integrada para estudos de comportamento de LLM em diversas áreas, como psicolinguística e economia comportamental.
384 epizódok
Megosztás
