Publication
Are chatbots being optimized? : unveiling the efficiency-effectiveness dilemma in rule-based and large language models chatbots
| datacite.subject.fos | Ciências Sociais::Economia e Gestão | pt_PT |
| dc.contributor.advisor | Silva, Susana Cristina Lima da Costa e | |
| dc.contributor.advisor | Cicco, Roberta De | |
| dc.contributor.author | Oliveira, António Pedro Viana | |
| dc.date.accessioned | 2024-12-13T19:37:13Z | |
| dc.date.available | 2024-12-13T19:37:13Z | |
| dc.date.issued | 2024-07-10 | |
| dc.date.submitted | 2024-04 | |
| dc.description.abstract | As digital and technological evolution advances, the entrepreneurial world is adapting and capitalizing on these transformations for a diverse range of applications. This progress has consequently led to a dynamic change in consumers’ expectations, as they seek more personalized, efficient, and innovative experiences. Therefore, this paper focuses on one of these emerging technologies: automated messaging bots, or chatbots, applied to Customer Service. In the past few years, chatbots have been widely adopted by companies across all industries for customer service, however, as of 2023, a more advanced model of automated conversational systems with generative artificial intelligence was introduced in the equation – Large Langue Models chatbots. To the best of our knowledge and supported by the study by Kshetri et al. (2023), it remains to be clarified how this newest version differs in terms of performance from the long-standing one, hence this gap is the focus of the present study. In an effort to make a comparison between the two aforementioned chatbots, a mixed-methods approach was conducted. Initially, a quantitative analysis was performed to assess key performance metrics of the more traditional type. Subsequently, a qualitative analysis was undertaken to delve deeper into the nuances underlying the disparities observed in these performance metrics between the two versions. In terms of chatbot performance, in contrast to prior assumptions, our findings indicate that even though chatbots can be highly effective in resolving customer tickets, this ability does not influence customers to return to the same conversational interface. Nonetheless, it was found that the Efficiency rate, more than the Effectiveness rate, may determine whether customers will use the same automation again or opt for other channels of communication with the company, underlining the importance of streamlined chatbots. When comparing the two types across these parameters, it became evident that, for the time being, the more traditional chatbots still surpass the more technologically advanced ones. In addition to addressing the gap identified in the literature, this study has identified inherent characteristics of these generative artificial intelligence leveraged chatbots that hinder their performance. However, resolving these issues has the potential to elevate customer service to a level where the distinction between robot and human support can become indistinguishable. | pt_PT |
| dc.description.abstract | Com o avanço da evolução digital e tecnológica, o mundo empresarial está a adaptar-se e capitalizar estas transformações para uma gama diversificada de soluções. Este progresso conduziu, consequentemente, a uma alteração dinâmica das expectativas dos consumidores, que procuram então experiências mais personalizadas, eficientes e inovadoras. Assim, este artigo centra-se numa destas tecnologias emergentes: os bots de automação de mensagens, ou chatbots, aplicados ao Serviço de Apoio ao Cliente. Ao longo dos últimos anos, os chatbots têm sido amplamente adotados por empresas de todos os setores para o atendimento ao cliente, no entanto, a partir de 2023, um modelo mais avançado de sistemas de conversação automatizados com inteligência artificial generativa foi introduzido na equação. Tanto quanto é do nosso conhecimento, e apoiado pelo estudo de Kshetri et al. (2023), continua por esclarecer de que forma esta versão mais recente difere em termos de desempenho da versão tradicional, sendo esta lacuna o foco do presente estudo. Com o objetivo de fazer uma comparação entre os dois chatbots acima mencionados, foi realizada uma abordagem de métodos mistos. Inicialmente, uma análise quantitativa foi conduzida para avaliar as principais métricas de desempenho do tipo mais tradicional de chatbot. Posteriormente, foi efectuada uma análise qualitativa para aprofundar as nuances subjacentes às disparidades observadas nestas métricas de desempenho entre as duas versões. Em termos de performance dos chatbots, e contrariamente ao que se pressupunha anteriormente, os nossos resultados indicam que, embora os chatbots possam ser muito eficazes a resolver as solicitações dos clientes, esta capacidade não influencia as taxas de retorno dos mesmos à mesma interface de conversação. No entanto, verificou-se que a taxa de Eficiência, mais do que a taxa de Eficácia, pode determinar se os clientes voltarão a utilizar a mesma automatização ou se optarão por outros canais de comunicação com a empresa, sublinhando a importância de chatbots simplificados. Ao comparar os dois tipos através destes parâmetros, tornou-se evidente que, por enquanto, os chatbots mais tradicionais continuam a superar os mais avançados tecnologicamente. Para além de colmatar a lacuna identificada na literatura, este estudo identificou ainda características inerentes aos chatbots empoderados com inteligência artificial generativa que afectam o seu desempenho. Todavia, a resolução destas questões tem o potencial de elevar o serviço de apoio ao cliente a um nível em que a distinção entre apoio robótico e humano pode tornar-se indistinguível. | pt_PT |
| dc.identifier.tid | 203746538 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.14/47522 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Rule-based chatbot | pt_PT |
| dc.subject | Large language model | pt_PT |
| dc.subject | Artificial intelligence | pt_PT |
| dc.subject | Customer service | pt_PT |
| dc.subject | Automation | pt_PT |
| dc.subject | Inteligência artificial | pt_PT |
| dc.subject | Atendimento ao cliente | pt_PT |
| dc.subject | Automação | pt_PT |
| dc.title | Are chatbots being optimized? : unveiling the efficiency-effectiveness dilemma in rule-based and large language models chatbots | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | restrictedAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Marketing | pt_PT |