Publicação
Patient safety at risk? : exploring risks and opportunities of AI conversational tools in mental health and towards a layered safety framework
| datacite.subject.fos | Ciências Sociais::Economia e Gestão | |
| datacite.subject.sdg | 03:Saúde de Qualidade | |
| datacite.subject.sdg | 16:Paz, Justiça e Instituições Eficazes | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Martins, Henrique | |
| dc.contributor.author | Blonder, Josephine | |
| dc.date.accessioned | 2026-06-18T20:43:36Z | |
| dc.date.available | 2026-06-18T20:43:36Z | |
| dc.date.issued | 2026-02-06 | |
| dc.date.submitted | 2026-01-05 | |
| dc.description.abstract | The increasing use of AI-driven conversational tools in mental-health contexts has intensified debates on patient safety, ethical responsibility, and governance. While these systems promise improved accessibility and early support, they also introduce risks of psychological harm and insufficient safeguards, particularly for vulnerable users. Existing approaches often address these risks in isolation and fail to capture how safety failures emerge across interacting socio-technical layers. This dissertation examines how patient safety in AI-driven conversational mental-health tools can be conceptualised and safeguarded through a layered framework. Drawing on patient-safety theory, particularly the Swiss Cheese Model, it adopts a qualitative, exploratory design to analyse how responsibilities, vulnerabilities, and safeguards interact across regulatory, technical, clinical, and user layers. Empirical insights were generated through semi-structured interviews with clinicians, industry experts, regulators, and patients. The findings show that patient safety risks arise not from isolated failures but from the alignment of vulnerabilities across layers. Responsibilities are widely distributed yet insufficiently coordinated, interdependencies at interfaces are critical safety determinants, and reliance on user responsibility is structurally unreliable in mental-health contexts. | eng |
| dc.description.abstract | O uso crescente de ferramentas conversacionais baseadas em inteligência artificial na saúde mental intensificou os debates sobre segurança do paciente, responsabilidade ética e governação. Embora estes sistemas prometam melhorar a acessibilidade, também introduzem riscos de dano psicológico para utilizadores vulneráveis. Abordagens existentes tendem a tratar estes riscos de forma isolada, não captando a sua natureza sociotécnica. Esta dissertação analisa como a segurança do paciente em ferramentas conversacionais de saúde mental baseadas em IA pode ser conceptualizada e salvaguardada através de uma estrutura em camadas. Com base no Modelo do Queijo Suíço, o estudo adota um desenho qualitativo e exploratório para analisar a interação entre responsabilidades, vulnerabilidades e salvaguardas nas camadas regulatória, técnica, clínica e do utilizador, com base em entrevistas a múltiplos stakeholders. Os resultados indicam que os riscos de segurança decorrem do alinhamento de vulnerabilidades entre camadas, sobretudo em contextos de sofrimento psicológico. As responsabilidades estão distribuídas, mas pouco coordenadas, e a dependência da responsabilidade do utilizador revela-se inadequada. | por |
| dc.identifier.other | 52d1ba32-787f-4764-a8fa-81a7f9f00baf | |
| dc.identifier.tid | 204225159 | |
| dc.identifier.uri | http://hdl.handle.net/10400.14/58174 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Patient safety | eng |
| dc.subject | Conversational AI | eng |
| dc.subject | Mental health | eng |
| dc.subject | AI governance | eng |
| dc.subject | Socio-technical systems | eng |
| dc.subject | Segurança do paciente | por |
| dc.subject | IA conversacional | por |
| dc.subject | Saúde mental | por |
| dc.subject | Governação da IA | por |
| dc.subject | Sistemas sociotécnicos | por |
| dc.title | Patient safety at risk? : exploring risks and opportunities of AI conversational tools in mental health and towards a layered safety framework | por |
| dc.title.alternative | A segurança do paciente em risco? : exploração dos riscos e oportunidades das ferramentas conversacionais de IA na saúde mental e rumo a uma estrutura de segurança em camadas | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Gestão e Administração de Empresas |
Ficheiros
Principais
1 - 1 de 1