ChatGPT passa no limite em exame nacional de medicina dos EUA

Programa de inteligência artificial contou com uma ajudinha dos cientistas que fizeram estudo; pesquisadores independentes questionaram experiência

Por Alessandro Giannini SEGUIR SEGUINDO 10 fev 2023, 14h00

Inteligência artificial na área da saúde (iStock/Getty Images)

Nos Estados Unidos, médicos formados não podem exercer a profissão antes de passar por uma prova de âmbito nacional. O Exame de Licenciamento Médico dos Estados Unidos (USMLE), promovido pela Federação dos Conselhos Médicos Estaduais (FSMB) e pelo Conselho Nacional de Medicina (NBME), é um rigoroso exame de múltiplas etapas, que cobrem a maioria das disciplinas médicas. Para medir a precisão e a capacidade do ChatGPT, um grupo de cientistas aplicou o teste à tecnologia. O resultado foi mediano, gerando debate entre pesquisadores independentes.

Na experiência, o software de inteligência artificial obteve 60% de aprovação no USMLE. Com respostas consideradas “coerentes e com boas ideias” pelos pesquisadores, o ChatGPT pontuou entre 52,4% e 75% nos três exames. “Alcançar a nota de aprovação para este exame especializado notoriamente difícil, e fazê-lo sem qualquer reforço humano, marca um marco notável na maturação clínica da IA”, escreveram os os autores no estudo publicado na revista Plos Digital Health.

O processo, no entanto, teve algumas modificações. Os pesquisadores testaram o ChatGPT em 350 das 376 perguntas públicas disponíveis na versão USMLE de junho de 2022 — as 26 questões eliminadas envolviam análise de imagens. O ChatGPT também demonstrou 94,6% de coerência em todas as suas respostas e produziu pelo menos uma ideia nova, não óbvia e clinicamente válida para 88,9% delas. Foi bem melhor do que o PubMedGPT, programa treinado exclusivamente na literatura biomédica, que obteve 50,8% em um conjunto mais antigo de perguntas ao estilo USMLE.

Tiffany Kung, da Escola de Medicina de Harvard e líder da pesquisa, acrescentou que o ChatGPT contribuiu substancialmente para a redação do manuscrito. “Interagimos com o ChatGPT como um colega, pedindo-lhe para sintetizar, simplificar e oferecem contrapontos aos rascunhos em andamento”, completou ela. Embora os resultados sejam promissores, especialistas independentes acrescentam que são necessárias mais pesquisas para avaliar o impacto a longo prazo e a confiabilidade de sistemas baseados em IA como o ChatGPT na educação médica.

Continua após a publicidade

Alex Polyakov, professor associado do Departamento de Educação Médica da Escola de Medicina da Universidade de Melbourne, disse que sistemas baseados em IA não devem substituir a interação e avaliação humana na educação médica. “Estudantes de medicina e médicos em treinamento precisam desenvolver habilidades de pensamento crítico, raciocínio clínico e consciência ética, os quais requerem interação humana e feedback”, disse ele, com a ajuda do chatbot.

Para Collin Bjork, professor de comunicação da Massey University, as afirmações dos autores sobre os insights e o potencial de ensino do ChatGPT são “enganosas e ingênuas”: “Como um aluno que não sabe a natureza do que está lendo pode distinguir entre insights verdadeiros e falsos, especialmente quando o ChatGPT oferece apenas respostas ‘precisas’ no USMLE em pouco mais da metade das vezes?”. Boa pergunta.