Relembre reportagens do Globo Repórter de dar água na boca

ChatGPT em teste: estudo aponta limites e potencial da IA em respostas sobre cancer

Estudo avaliou a qualidade das respostas do eu quero saber se a mega-sena está acumuladaChatGPT 3.5 para perguntas médicas sobre cancer hematológico.

O resultado traz um alerta: embora a inteligência artificial (IA) possa ajudar pacientes a entender conceitos gerais da doen?a, suas respostas ainda n?o s?o confiáveis quando se trata de tratamentos mais recentes.

A equipe de pesquisadores, liderada pelo médico-cientista Justin Taylor, do Sylvester Comprehensive Cancer Center da Universidade de Miami, submeteu dez perguntas ao ChatGPT.

As respostas foram avaliadas por quatro hematologistas e oncologistas de forma an?nima, em uma escala de 1 a 5.

O estudo avaliou apenas a vers?o 3.5 do ChatGPT, treinada com dados até 2021. Isso significa que descobertas médicas e terapias lan?adas depois disso n?o estavam refletidas nas respostas.

Um estudo publicado nesta quarta-feira (3) na revista científica Future Science OA avaliou a qualidade das respostas do ChatGPT 3.5 — vers?o gratuita do chatbot da OpenAI disponível em julho de 2024 — para perguntas médicas sobre cancer hematológico.

O resultado traz um alerta: embora a inteligência artificial (IA) possa ajudar pacientes a entender conceitos gerais da doen?a, suas respostas ainda n?o s?o confiáveis quando se trata de tratamentos mais recentes.

O que a pesquisa mostrou

A equipe de pesquisadores, liderada pelo médico-cientista Justin Taylor, do Sylvester Comprehensive Cancer Center da Universidade de Miami, submeteu dez perguntas ao ChatGPT. Cinco eram gerais, como efeitos colaterais comuns da quimioterapia. Outras cinco tratavam de terapias mais específicas, como os inibidores de BCL-2 — medicamentos em fase de estudos.

As respostas foram avaliadas por quatro hematologistas e oncologistas de forma an?nima, em uma escala de 1 a 5.

Em perguntas gerais, o chatbot teve média de 3,38 pontos, considerada "razoável, mas incompleta".Em perguntas sobre terapias mais novas, a média caiu para 3,06 pontos.Nenhuma resposta recebeu nota máxima (5).

“A supervis?o médica continua sendo essencial para verificar as informa??es médicas geradas pela IA antes do uso pelo paciente”, concluíram os autores.

Ceticismo necessário

Taylor alerta que, assim como no passado os pacientes recorreram ao Google para tirar dúvidas de saúde, agora a IA será incorporada ao cotidiano. Mas o processo de adapta??o exige cautela.

“Eu alerto os pacientes para que tenham algum ceticismo, especialmente sobre respostas que tratam de tipos específicos de cancer e tratamentos, e consultem seus médicos”, afirmou.

Segundo ele, chatbots n?o têm a capacidade de personalizar recomenda??es ou discutir nuances como os especialistas fazem em consultas.

1 de 1 A forma como modelos de IA como o Copilot ou o ChatGPT já nos "conhecem" é segredo comercial — Foto: Jaque Silva/NurPhoto/picture alliance

Limita??es e próximos passos

O estudo avaliou apenas a vers?o 3.5 do ChatGPT, treinada com dados até 2021. Isso significa que descobertas médicas e terapias lan?adas depois disso n?o estavam refletidas nas respostas.

Vers?es mais recentes do modelo podem ter desempenho diferente, mas, para Taylor, a mensagem principal continua válida: a IA pode apoiar pacientes, mas n?o substituir a orienta??o profissional.

Possíveis usos

Apesar das falhas, os pesquisadores enxergam espa?o para a tecnologia. Chatbots podem ajudar pacientes a se prepararem melhor para consultas, formularem perguntas e até localizarem fontes de informa??o primária e confiável.

A Universidade de Miami já aposta no avan?o: lan?ou cursos sobre ética em IA na medicina e sistemas que usam inteligência artificial para diagnóstico de tumores cerebrais e previs?o de risco em mieloma múltiplo.