O ChatGPT atingiu bons resultados no USMLE (United States Medical Licensing Examination), prova obrigatória para o exercício da profissão médica nos Estados Unidos (KUNG et al., 2023). Isto quer dizer que ele é suficientemente capaz de substituir um médico? A resposta é “não” e vamos explicar o porquê.
Primeiramente, por hora, as ferramentas de IA tendem a gerar bons resultados quando focadas em apenas uma tarefa e tendo como base uma grande quantidade de exemplos pré-treinados. No entanto, a Inteligência Artificial não é tão eficiente quando precisa executar uma tarefa complexa a partir de poucos dados.
A IA Generativa é calcada no machine learning, processo em que as máquinas aprendem sem serem programadas. Há métodos de aprendizagem supervisionados, não supervisionados e por reforço, porém ainda são ferramentas em processo de aprendizado, sendo que suas respostas devem sempre ser validadas posteriormente. Analogamente, seria como esperar respostas científicas definitivas de um estudante universitário na iniciação científica. Mesmo com acesso a livros da biblioteca e de repositórios online, sua capacidade cognitiva para a pesquisa científica ainda está em formação, podendo ser amadurecida em etapas posteriores como mestrado, doutorado e pós-doutorado.
O GPT utiliza o aprendizado profundo (deep learning) a partir da arquitetura Transformer, porém lança mão de algumas técnicas que explicam o aparecimento de respostas equivocadas ou a pura “alucinação” (Hallucination).
Por se tratar de um bate-papo, o ChatGPT precisa dar respostas rápidas. “A pressa é inimiga da perfeição” é um famoso ditado popular que ajuda a entender as consequências do uso das técnicas de Zero-shot, One-shot e Few-shot a partir do GPT-2. Ao se deparar com perguntas para as quais não tem nenhuma referência (Zero-Shot), apenas uma referência (One-shot) ou poucas referências (Few-shot), a ferramenta tenta prever uma resposta correta. É como se fôssemos perguntar para crianças sobre assuntos que desconhecem. Vão dar uma resposta, mas com elevado potencial de equívoco.
Este processo é muito natural em aplicações de inteligência artificial quando operadas por cientistas de dados em processos de treinamento por reinforcement learning e supervised learning. Por outro lado, estas questões não estão visíveis para o público leigo que muitas vezes entende a IA Generativa como uma espécie de oráculo.
Os sistemas de Inteligência Artificial possuem métricas para avaliar a tolerância de confiabilidade: acurácia, precisão, interpretabilidade e F1 score. A transparência destas métricas é fundamental para verificar a validade das informações.
Na mesma linha, a revista Nature proibiu que o ChatGPT seja creditado como autor de artigos científicos. Isto porque um dos princípios de autoria de artigos científicos é a responsabilidade pelo teor do texto e isto o ChatGPT não pode fazer.
O ChatGPT é uma ferramenta generalista e a tendência é a criação de aplicativos de LLM especializados em segmentos como o da Saúde. Neste caso, os profissionais devem entender a ferramenta não como uma solução pronta, mas sim como um projeto em constante construção e evolução (mentalidade do software livre). Requer, portanto, uma ação humana no sentido de detectar erros, propor melhorias, acompanhar a performance e avaliar os resultados.
REFERÊNCIAS:
KUNG, T. H. et al. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, v. 2, n. 2, p. e0000198, 9 fev. 2023.
NATURE. Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, v. 613, n. 7945, p. 612–612, 24 jan. 2023.
Arthur William Santos é mestre em Educação, Cultura e Comunicação (UERJ), pós-graduado no MBA de TV Digital, Radiodifusão e Novas Mídias de Comunicação Eletrônica (UFF), graduado em Comunicação Social / Jornalismo (PUC-Rio) e técnico em eletrônica (CEFET-RJ). Foi gerente executivo de Produção, Aquisição e Parcerias na EBC, além de gerenciar o setor de Criação de Conteúdos e coordenar as Redes Sociais da TV Brasil. Liderou também a área de Inovação/Novos Negócios na TV Escola. Atuou ainda na criação do Canal Educação e do Canal LIBRAS para o Ministério da Educação (MEC). Fez cursos presenciais em Harvard e Stanford sobre Inovação na Educação. Deu aulas em cursos de graduação e pós-graduação nas universidades UniCarioca, Unigranrio, FACHA, INFNET e CEFOJOR (Angola). É membro da SET (Sociedade de Engenharia de Televisão).
