A carregar...
Publicação
Simulating human responses using large language models : an analysis of decision under risk
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 5.42 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
This research provides valuable insights into how Large Language Models can properly simulate human behaviour in decision-theoretic experiments. The study is conducted under conditions similar to those experienced by humans, thereby identifying the most significant gaps and challenges in this task. Previous research in economic experiments has suggested a lack of response heterogeneity and that these models do not accurately reflect human behaviour. In decision-theoretic experiments, however, the test is clearer because there is no optimal strategy to play, allowing analysis of heterogeneity in responses to a gains lottery choice experiment and in estimates of the probability weighting function elicited via two different methods across a wide range of models. The methodology uses data from human-collected choices, comprising training and testing questions, and queries the models in the same way. Binary entropy is central to the analysis of choice heterogeneity, and Jensen-Shannon Divergence and Energy distance are used as accuracy metrics. The results show that although it is difficult to exactly replicate the verified pattern of choices observed in humans, several models can achieve good performance, particularly in Fast and Simple Elicitations. In the Bisection method, the results suggest that some models show increased sensitivity to test choices. The sensitivity to the elicitation method, which affects the underlying behaviour of distorted probabilities, has severe implications for the generability of population underrepresentation when using the same model
Esta investigação fornece informações valiosas sobre como os Grandes Modelos de Linguagem podem simular adequadamente o comportamento humano em experimentos de teoria da decisão. O estudo é conduzido em condições semelhantes às experienciadas pelos humanos, identificando assim as lacunas e os desafios mais significativos nesta tarefa. Investigações anteriores de experiências económicas sugeriram uma falta de heterogeneidade nas respostas e que estes modelos não refletem com precisão o comportamento humano. Em experiências da teoria da decisão, no entanto, o teste é mais claro porque não há uma estratégia ótima a seguir, permitindo a análise da heterogeneidade nas respostas a uma experiência de escolha numa lotaria de ganhos e nas estimativas da função de ponderação de probabilidade obtida por dois métodos diferentes ao longo de uma ampla gama de modelos. A metodologia utiliza dados de escolhas humanas coletadas, compreendendo questões de treino e teste, consultando os modelos da mesma maneira. A entropia binária é fundamental para a análise da heterogeneidade das escolhas, e a Divergência de Jensen-Shannon e a Distância de Energia são usadas como métricas de precisão. Os resultados mostram que, embora seja difícil replicar exatamente o padrão verificado de escolhas observado nos humanos, vários modelos podem alcançar bom desempenho, particularmente em Elicitações Rápidas e Simples. No método de bissecção, os resultados sugerem que alguns modelos apresentam maior sensibilidade às escolhas de teste. A sensibilidade ao método de elicitação, afetando o comportamento subjacente das probabilidades distorcidas, tem implicações graves para a generabilidade da representação populacional ao utilizar o mesmo modelo.
Esta investigação fornece informações valiosas sobre como os Grandes Modelos de Linguagem podem simular adequadamente o comportamento humano em experimentos de teoria da decisão. O estudo é conduzido em condições semelhantes às experienciadas pelos humanos, identificando assim as lacunas e os desafios mais significativos nesta tarefa. Investigações anteriores de experiências económicas sugeriram uma falta de heterogeneidade nas respostas e que estes modelos não refletem com precisão o comportamento humano. Em experiências da teoria da decisão, no entanto, o teste é mais claro porque não há uma estratégia ótima a seguir, permitindo a análise da heterogeneidade nas respostas a uma experiência de escolha numa lotaria de ganhos e nas estimativas da função de ponderação de probabilidade obtida por dois métodos diferentes ao longo de uma ampla gama de modelos. A metodologia utiliza dados de escolhas humanas coletadas, compreendendo questões de treino e teste, consultando os modelos da mesma maneira. A entropia binária é fundamental para a análise da heterogeneidade das escolhas, e a Divergência de Jensen-Shannon e a Distância de Energia são usadas como métricas de precisão. Os resultados mostram que, embora seja difícil replicar exatamente o padrão verificado de escolhas observado nos humanos, vários modelos podem alcançar bom desempenho, particularmente em Elicitações Rápidas e Simples. No método de bissecção, os resultados sugerem que alguns modelos apresentam maior sensibilidade às escolhas de teste. A sensibilidade ao método de elicitação, afetando o comportamento subjacente das probabilidades distorcidas, tem implicações graves para a generabilidade da representação populacional ao utilizar o mesmo modelo.
Descrição
Palavras-chave
Grandes modelos de linguagem Tomada de decisão sob risco Probabilidade ponderada Métodos de elicitação Simulação comportamental humana
Contexto Educativo
Citação
Editora
Licença CC
Sem licença CC