A carregar...
Publicação
Patient safety at risk? : exploring risks and opportunities of AI conversational tools in mental health and towards a layered safety framework
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 1.01 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
The increasing use of AI-driven conversational tools in mental-health contexts has intensified debates on patient safety, ethical responsibility, and governance. While these systems promise improved accessibility and early support, they also introduce risks of psychological harm and insufficient safeguards, particularly for vulnerable users. Existing approaches often address these risks in isolation and fail to capture how safety failures emerge across interacting socio-technical layers. This dissertation examines how patient safety in AI-driven conversational mental-health tools can be conceptualised and safeguarded through a layered framework. Drawing on patient-safety theory, particularly the Swiss Cheese Model, it adopts a qualitative, exploratory design to analyse how responsibilities, vulnerabilities, and safeguards interact across regulatory, technical, clinical, and user layers. Empirical insights were generated through semi-structured interviews with clinicians, industry experts, regulators, and patients. The findings show that patient safety risks arise not from isolated failures but from the alignment of vulnerabilities across layers. Responsibilities are widely distributed yet insufficiently coordinated, interdependencies at interfaces are critical safety determinants, and reliance on user responsibility is structurally unreliable in mental-health contexts.
O uso crescente de ferramentas conversacionais baseadas em inteligência artificial na saúde mental intensificou os debates sobre segurança do paciente, responsabilidade ética e governação. Embora estes sistemas prometam melhorar a acessibilidade, também introduzem riscos de dano psicológico para utilizadores vulneráveis. Abordagens existentes tendem a tratar estes riscos de forma isolada, não captando a sua natureza sociotécnica. Esta dissertação analisa como a segurança do paciente em ferramentas conversacionais de saúde mental baseadas em IA pode ser conceptualizada e salvaguardada através de uma estrutura em camadas. Com base no Modelo do Queijo Suíço, o estudo adota um desenho qualitativo e exploratório para analisar a interação entre responsabilidades, vulnerabilidades e salvaguardas nas camadas regulatória, técnica, clínica e do utilizador, com base em entrevistas a múltiplos stakeholders. Os resultados indicam que os riscos de segurança decorrem do alinhamento de vulnerabilidades entre camadas, sobretudo em contextos de sofrimento psicológico. As responsabilidades estão distribuídas, mas pouco coordenadas, e a dependência da responsabilidade do utilizador revela-se inadequada.
O uso crescente de ferramentas conversacionais baseadas em inteligência artificial na saúde mental intensificou os debates sobre segurança do paciente, responsabilidade ética e governação. Embora estes sistemas prometam melhorar a acessibilidade, também introduzem riscos de dano psicológico para utilizadores vulneráveis. Abordagens existentes tendem a tratar estes riscos de forma isolada, não captando a sua natureza sociotécnica. Esta dissertação analisa como a segurança do paciente em ferramentas conversacionais de saúde mental baseadas em IA pode ser conceptualizada e salvaguardada através de uma estrutura em camadas. Com base no Modelo do Queijo Suíço, o estudo adota um desenho qualitativo e exploratório para analisar a interação entre responsabilidades, vulnerabilidades e salvaguardas nas camadas regulatória, técnica, clínica e do utilizador, com base em entrevistas a múltiplos stakeholders. Os resultados indicam que os riscos de segurança decorrem do alinhamento de vulnerabilidades entre camadas, sobretudo em contextos de sofrimento psicológico. As responsabilidades estão distribuídas, mas pouco coordenadas, e a dependência da responsabilidade do utilizador revela-se inadequada.
Descrição
Palavras-chave
Patient safety Conversational AI Mental health AI governance Socio-technical systems Segurança do paciente IA conversacional Saúde mental Governação da IA Sistemas sociotécnicos
Contexto Educativo
Citação
Editora
Licença CC
Sem licença CC