Search Dental Tribune

Estudo descobre que ChatGPT é limitado em responder a perguntas complexas sobre saúde bucal

Os pacientes usam cada vez mais recursos online para acessar informações sobre saúde bucal, incluindo tópicos relacionados ao tabaco. (Imagem: Rawpixel.com/Adobe Stock)

qui. 11 setembro 2025

guardar

AMÃ, Jordânia: À medida que a inteligência artificial continua a expandir seu papel na área da saúde, modelos de linguagem de grande porte como o ChatGPT estão sendo cada vez mais utilizados para buscar informações relacionadas à saúde. Na odontologia, onde a educação do paciente é essencial e a desinformação online está em ascensão, é particularmente importante avaliar a confiabilidade dessas ferramentas. Dado o impacto bem estabelecido do uso do tabaco na saúde bucal — incluindo sua associação com doença periodontal, perda dentária, câncer bucal e comprometimento da cicatrização — um novo estudo avaliou a eficácia do ChatGPT em responder a perguntas do público sobre esse importante tópico.

 

Os pesquisadores — da Universidade da Jordânia e do Ministério da Saúde do Kuwait em Sulaibikhat — geraram um conjunto de perguntas frequentes usando ferramentas online. Essas perguntas, frequentemente feitas a chatbots e mecanismos de busca, abrangeram áreas como condições periodontais, dentes e saúde bucal em geral, saúde dos tecidos moles, cirurgia bucal e preocupações relacionadas à higiene bucal e ao hálito, e foram reduzidas a 119 perguntas . As respostas foram geradas pelo ChatGPT 3.5 e avaliadas pelos pesquisadores com base nos parâmetros de utilidade, legibilidade, qualidade, confiabilidade e acionabilidade.

A maioria das respostas foi considerada muito útil (36,1%) ou útil (42,0%) e de qualidade moderada (41,2%) a boa (37,0%). No entanto, apenas 23,5% das respostas obtiveram pontuação alta em termos de acionabilidade e 35,3% foram consideradas apenas moderadamente fáceis de ler.

Quando as respostas sobre os diferentes tópicos foram comparadas, constatou-se que as pontuações da ferramenta variaram. As respostas a perguntas sobre tópicos especializados foram menos úteis, incluindo aquelas relacionadas aos efeitos do uso do tabaco nos tecidos moles da boca e em cirurgias orais.

Comentando estudos anteriores que constataram que o ChatGPT se destaca em disciplinas especializadas e é até mesmo capaz de passar em exames odontológicos, os pesquisadores destacaram que o formato das perguntas de estímulo afeta a qualidade e a confiabilidade das respostas. "Essa discrepância pode ser devido a diferenças nos formatos das perguntas, já que nossas perguntas gerais diferem da natureza estruturada e acadêmica das perguntas baseadas em testes", explicaram.

Descobriu-se que a tecnologia respondia com competência a perguntas gerais e apresentava desempenho inferior em perguntas mais detalhadas e/ou tópicos especializados. "Por exemplo, o ChatGPT não conseguiu gerar consistentemente respostas precisas e abrangentes para a maioria das perguntas centradas no paciente de radio-oncologia, particularmente em cânceres menos comuns e com perguntas de 'controle negativo' que incluíam suposições incorretas", escreveram os autores. Ressaltando que a utilidade das informações relacionadas à saúde para o público depende de sua legibilidade e compreensão, os pesquisadores enfatizaram a necessidade de ferramentas de inteligência artificial para equilibrar efetivamente qualidade e simplicidade em suas respostas.

Em resumo, os autores concluíram que o ChatGPT é uma ferramenta valiosa para fornecer informações gerais relacionadas aos efeitos do uso do tabaco na saúde bucal, mas enfrenta desafios em termos de legibilidade, consistência na execução e qualidade das respostas sobre tópicos especializados. "Embora o ChatGPT possa complementar eficazmente a educação em saúde, ele não deve substituir o aconselhamento odontológico profissional", concluíram os autores.

O estudo, intitulado“Assessing ChatGPT’s suitability in responding to the public’s inquiries on the effects of smoking on oral health”,  foi publicado on-line em 19 de julho de 2025 no BMC Oral Health.

 

To post a reply please login or register
advertisement
advertisement