O ChatGPT atingiu bons resultados no USMLE (United States Medical Licensing Examination), prova obrigat\u00f3ria para o exerc\u00edcio da profiss\u00e3o m\u00e9dica nos Estados Unidos (KUNG et al., 2023). Isto quer dizer que ele \u00e9 suficientemente capaz de substituir um m\u00e9dico? A resposta \u00e9 \u201cn\u00e3o\u201d e vamos explicar o porqu\u00ea.<\/p>\n
Primeiramente, por hora, as ferramentas de IA tendem a gerar bons resultados quando focadas em apenas uma tarefa e tendo como base uma grande quantidade de exemplos pr\u00e9-treinados. No entanto, a Intelig\u00eancia Artificial n\u00e3o \u00e9 t\u00e3o eficiente quando precisa executar uma tarefa complexa a partir de poucos dados.<\/p>\n
A IA Generativa \u00e9 calcada no machine learning, processo em que as m\u00e1quinas aprendem sem serem programadas. H\u00e1 m\u00e9todos de aprendizagem supervisionados, n\u00e3o supervisionados e por refor\u00e7o, por\u00e9m ainda s\u00e3o ferramentas em processo de aprendizado, sendo que suas respostas devem sempre ser validadas posteriormente. Analogamente, seria como esperar respostas cient\u00edficas definitivas de um estudante universit\u00e1rio na inicia\u00e7\u00e3o cient\u00edfica. Mesmo com acesso a livros da biblioteca e de reposit\u00f3rios online, sua capacidade cognitiva para a pesquisa cient\u00edfica ainda est\u00e1 em forma\u00e7\u00e3o, podendo ser amadurecida em etapas posteriores como mestrado, doutorado e p\u00f3s-doutorado.<\/p>\n
O GPT utiliza o aprendizado profundo (deep learning) a partir da arquitetura Transformer, por\u00e9m lan\u00e7a m\u00e3o de algumas t\u00e9cnicas que explicam o aparecimento de respostas equivocadas ou a pura \u201calucina\u00e7\u00e3o\u201d (Hallucination).<\/p>\n
Por se tratar de um bate-papo, o ChatGPT precisa dar respostas r\u00e1pidas. \u201cA pressa \u00e9 inimiga da perfei\u00e7\u00e3o\u201d \u00e9 um famoso ditado popular que ajuda a entender as consequ\u00eancias do uso das t\u00e9cnicas de Zero-shot, One-shot e Few-shot a partir do GPT-2. Ao se deparar com perguntas para as quais n\u00e3o tem nenhuma refer\u00eancia (Zero-Shot), apenas uma refer\u00eancia (One-shot) ou poucas refer\u00eancias (Few-shot), a ferramenta tenta prever uma resposta correta. \u00c9 como se f\u00f4ssemos perguntar para crian\u00e7as sobre assuntos que desconhecem. V\u00e3o dar uma resposta, mas com elevado potencial de equ\u00edvoco.<\/p>\n
Este processo \u00e9 muito natural em aplica\u00e7\u00f5es de intelig\u00eancia artificial quando operadas por cientistas de dados em processos de treinamento por reinforcement learning e supervised learning. Por outro lado, estas quest\u00f5es n\u00e3o est\u00e3o vis\u00edveis para o p\u00fablico leigo que muitas vezes entende a IA Generativa como uma esp\u00e9cie de or\u00e1culo.<\/p>\n
Os sistemas de Intelig\u00eancia Artificial possuem m\u00e9tricas para avaliar a toler\u00e2ncia de confiabilidade: acur\u00e1cia, precis\u00e3o, interpretabilidade e F1 score. A transpar\u00eancia destas m\u00e9tricas \u00e9 fundamental para verificar a validade das informa\u00e7\u00f5es.<\/p>\n
Na mesma linha, a revista Nature proibiu que o ChatGPT seja creditado como autor de artigos cient\u00edficos. Isto porque um dos princ\u00edpios de autoria de artigos cient\u00edficos \u00e9 a responsabilidade pelo teor do texto e isto o ChatGPT n\u00e3o pode fazer.<\/p>\n
O ChatGPT \u00e9 uma ferramenta generalista e a tend\u00eancia \u00e9 a cria\u00e7\u00e3o de aplicativos de LLM especializados em segmentos como o da Sa\u00fade. Neste caso, os profissionais devem entender a ferramenta n\u00e3o como uma solu\u00e7\u00e3o pronta, mas sim como um projeto em constante constru\u00e7\u00e3o e evolu\u00e7\u00e3o (mentalidade do software livre). Requer, portanto, uma a\u00e7\u00e3o humana no sentido de detectar erros, propor melhorias, acompanhar a performance e avaliar os resultados.<\/p>\n
REFER\u00caNCIAS:<\/p>\n KUNG, T. H. et al. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, v. 2, n. 2, p. e0000198, 9 fev. 2023.<\/p>\n NATURE. Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, v. 613, n. 7945, p. 612\u2013612, 24 jan. 2023.<\/p>\n![\"machine](\"https:\/\/arthurwilliam.com.br\/blog\/wp-content\/uploads\/2023\/06\/machine-learning-training-artificial-intelligence-chatgpt-gpt-ai-generative-llm-npl.png\")
<\/a><\/p>\n