A carregar...
Publicação
Prompt engineering and management decision making : optimizing the nexus of human and artificial intelligence
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 488.87 KB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Managers increasingly use large language models to support early phases of decision making, yet little empirical evidence exists on how prompt design influences the quality of AI-supported problem structuring. This study examined how different prompt engineering strategies affect the quality of problem-structuring outputs generated by a large language model. Using a controlled mixed-design experiment, three prompting strategies (baseline, instruction, and decomposition prompting) were applied to standardized managerial cases representing different levels of problem structure. The resulting outputs were evaluated by a panel of practitioners using rating-based and ranking-based assessments across multiple quality dimensions, complemented by qualitative analysis. The analysis finds systematic differences across prompting strategies and problem types. Baseline prompting consistently results in the worst problem structure quality, with decomposition prompting closely outperforming instruction prompting. While this effect increases as the problems become more complex and ambiguous, relative effectiveness measured through ranking of prompting strategies, remains stable across cases. Overall, the study demonstrates that prompt engineering functions as a managerial design choice that meaningfully shapes AI-supported problem structuring. By improving the explicitness and organization of analytical reasoning, structured prompts can enhance the usefulness of AI outputs at a critical early stage of managerial decision making.
Os gestores utilizam mais modelos linguísticos de grande dimensão para apoiar as fases iniciais da tomada de decisões, mas existem poucas evidências empíricas sobre como o design de prompts influencia a qualidade da estruturação de problemas apoiada por IA. Este estudo examinou como diferentes estratégias de engenharia de prompts afetam a qualidade dos resultados de estruturação de problemas gerados por um modelo linguístico de grande dimensão. Utilizando um experimento controlado de design misto, foram aplicadas três estratégias de prompt (base, instrução e decomposição) a casos de gestão padronizados que representam diferentes níveis de estrutura do problema. Os resultados foram avaliados por um painel de profissionais através de avaliações por classificação e por ordenação, complementadas por análise qualitativa. A análise revela diferenças sistemáticas entre as estratégias de prompt e os tipos de problemas. O prompt de base resulta consistentemente na menor qualidade de estruturação de problemas, enquanto o prompt de decomposição apresenta o melhor desempenho, seguido do prompt de instrução. Embora este efeito se intensifique à medida que os problemas se tornam mais complexos e ambíguos, a eficácia relativa das estratégias de prompt, medida através da ordenação, permanece estável entre os casos. De modo geral, o estudo demonstra que a engenharia de prompts funciona como uma escolha de design gerencial que molda significativamente a estruturação de problemas apoiada por IA. Ao melhorar a explicitação e a organização do raciocínio analítico, os prompts estruturados podem aumentar a utilidade dos resultados da IA num estágio inicial crítico da tomada de decisões gerenciais.
Os gestores utilizam mais modelos linguísticos de grande dimensão para apoiar as fases iniciais da tomada de decisões, mas existem poucas evidências empíricas sobre como o design de prompts influencia a qualidade da estruturação de problemas apoiada por IA. Este estudo examinou como diferentes estratégias de engenharia de prompts afetam a qualidade dos resultados de estruturação de problemas gerados por um modelo linguístico de grande dimensão. Utilizando um experimento controlado de design misto, foram aplicadas três estratégias de prompt (base, instrução e decomposição) a casos de gestão padronizados que representam diferentes níveis de estrutura do problema. Os resultados foram avaliados por um painel de profissionais através de avaliações por classificação e por ordenação, complementadas por análise qualitativa. A análise revela diferenças sistemáticas entre as estratégias de prompt e os tipos de problemas. O prompt de base resulta consistentemente na menor qualidade de estruturação de problemas, enquanto o prompt de decomposição apresenta o melhor desempenho, seguido do prompt de instrução. Embora este efeito se intensifique à medida que os problemas se tornam mais complexos e ambíguos, a eficácia relativa das estratégias de prompt, medida através da ordenação, permanece estável entre os casos. De modo geral, o estudo demonstra que a engenharia de prompts funciona como uma escolha de design gerencial que molda significativamente a estruturação de problemas apoiada por IA. Ao melhorar a explicitação e a organização do raciocínio analítico, os prompts estruturados podem aumentar a utilidade dos resultados da IA num estágio inicial crítico da tomada de decisões gerenciais.
Descrição
Palavras-chave
Prompt engineering Large language models (LLMs) AI-supported problem structuring Managerial decision making Strategic problem structuring Human–AI collaboration Experimental design Evaluation of AI outputs Decision quality Engenharia de prompts Grandes modelos de linguagem (GMLs) Estruturação de problemas apoiada por IA Tomada de decisões gerenciais Estruturação estratégica de problemas Colaboração humano-IA Projeto experimental Avaliação dos resultados da IA Qualidade das decisões
Contexto Educativo
Citação
Editora
Licença CC
Sem licença CC