Search Dental Tribune

Ferramentas de IA para anestesiologia odontológica são promissoras, mas precisam de trabalho

Atualmente, os grandes modelos de linguagem são limitados em relação à quantidade de informações que podem fornecer com precisão sobre anestesiologia odontológica. (Imagem: Tada Images/Shutterstock)

YOKOSUKA, Japão: Large language models (LLMs), um tipo de ferramenta de inteligência artificial (IA), estão ganhando popularidade em disciplinas médicas, incluindo anestesiologia odontológica, por seu potencial de aprimorar a coleta de informações, o atendimento ao paciente e as práticas educacionais. Um novo estudo do Japão avaliou a utilidade dos principais LLMs em anestesiologia odontológica e concluiu que, embora LLMs como ChatGPT‑4 e Claude 3 Opus sejam promissores, mais avanços no treinamento de modelos e engenharia rápida e a disponibilidade de informações específicas de campo de alta qualidade são essenciais para sua integração eficaz na anestesiologia odontológica.

Os LLMs selecionados pelos pesquisadores também incluíram Gemini 1.0 e foram utilizados no exame de certificação do conselho da Japanese Dental Society of Anesthesiology. O objetivo era avaliar a utilidade desses modelos comparando sua precisão em responder perguntas do exame, oferecendo insights sobre sua aplicação em anestesiologia odontológica.

O estudo usou 295 questões de múltipla escolha do exame, abrangendo 2020 a 2022, excluindo questões que exigiam interpretação visual ou eram consideradas inapropriadas. As questões foram inseridas manualmente nos LLMs sem engenharia de prompt especializada. Cada modelo respondeu às questões três vezes, e a precisão foi determinada pela comparação de respostas com respostas consensuais de anestesiologistas odontológicos certificados. O desempenho foi analisado em seis categorias: fisiologia básica, anestesia local, sedação e anestesia geral, gerenciamento sistêmico, gerenciamento da dor e choque e ressuscitação.

O ChatGPT‑4 obteve a maior precisão (51,2%), seguido pelo Claude 3 Opus (47,4%), enquanto o Gemini 1.0 ficou significativamente para trás (30,3%). O ChatGPT‑4 e o Claude 3 Opus tiveram desempenho particularmente bom em áreas como gerenciamento sistêmico e gerenciamento da dor. No entanto, todos os modelos demonstraram taxas gerais de precisão abaixo de 60%, sugerindo limitações em sua utilidade atual para tomada de decisão clínica em anestesiologia odontológica.

O estudo atribuiu a precisão relativamente baixa a vários fatores. Primeiro, a disponibilidade de informações sobre anestesiologia odontológica on-line é limitada, potencialmente impactando o desempenho dos modelos. Além disso, a ausência de engenharia de prompt específica e as potenciais ambiguidades nas perguntas originais japonesas podem ter contribuído ainda mais para os resultados abaixo do ideal. Os autores observaram que otimizar os prompts poderia melhorar significativamente a precisão dos LLMs em responder a perguntas médicas.

Apesar dessas limitações, o estudo destacou o potencial dos LLMs para dar suporte à prática da anestesiologia odontológica, particularmente em tarefas administrativas como documentação. No entanto, também alertou contra confiar neles para decisões clínicas complexas devido a riscos como “alucinações”, onde os modelos geram respostas plausíveis, mas incorretas.

O estudo, intitulado  “Evaluating large language models in dental anesthesiology: A comparative analysis of ChatGPT‑4, Claude 3 Opus, and Gemini 1.0 on the Japanese Dental Society of Anesthesiology board certification exam”,  foi publicado on-line em 27 de setembro de 2024 no Cureus.

 

To post a reply please login or register
advertisement
advertisement