AVALIAÇÃO COMPARATIVA DE MODELOS DE LINGUAGEM NA IDENTIFICAÇÃO DE FAKE NEWS: CHATGPT, DEEPSEEK E CLAUDE OPUS 4
DOI:
https://doi.org/10.18623/rvd.v23.7828Keywords:
Fake News, Modelos de Linguagem de Grande Porte, Inteligência Artificial, Verificação de Fatos, Processamento de Linguagem NaturalAbstract
A rápida disseminação de fake news em ambientes digitais compromete a confiabilidade da informação, exigindo métodos automatizados capazes de apoiar processos de verificação com precisão e transparência. Este estudo compara o desempenho dos modelos de linguagem ChatGPT (GPT-4.1), DeepSeek-R1 e Claude Opus 4 na identificação de notícias falsas por meio de um experimento quantitativo, c comparativo e pareado. O protocolo utilizou 300 amostras balanceadas dos corpora Fake.Br, LIAR e FEVER, avaliadas sob condições controladas, sem acesso a fontes externas. Foram analisadas métricas de desempenho classificatório, calibração probabilística, qualidade das justificativas, eficiência computacional e testes estatísticos pareados. Os resultados indicam superioridade global do Claude Opus 4, seguido pelo ChatGPT, enquanto o DeepSeek-R1 apresentou desempenho inferior. Contudo, diferenças estatisticamente significativas ocorreram apenas entre Claude Opus 4 e DeepSeek-R1. Conclui-se que esses modelos constituem ferramentas promissoras para apoiar a detecção de desinformação, complementando, sem substituir, a verificação especializada em diferentes contextos.
References
ANTHROPIC. System Card: Claude Opus 4 & Claude Sonnet 4. San Francisco: Anthropic, 2025. Disponível em: https://www.anthropic.com/claude-4-system-card. Acesso em: 13 jul. 2026.
BARROSO, L. R.; MELLO, P. P. C. Inteligência artificial: promessas, riscos e regulação. Algo de novo debaixo do sol. Revista Direito e Práxis, v. 15, n. 4, e84479, 2024. DOI: 10.1590/2179-8966/2024/84479.
BBC NEWS. Covid vaccine: fact-checking false claims about microchips and magnets. BBC Reality Check, 19 dez. 2020. Disponível em: https://www.bbc.com/news/54893437. Acesso em: 3 abr. 2025.
BENDER, E. M. et al. On the dangers of stochastic parrots: can language models be too big? In: ACM CONFERENCE ON FAIRNESS, ACCOUNTABILITY, AND TRANSPARENCY, 2021. Proceedings [...]. New York: ACM, 2021. p. 610–623. DOI: 10.1145/3442188.3445922.
CARVALHO, A. J. S.; SANTOS, W. J. C.; CONTE, T. N. M. S. Avaliação do potencial da inteligência artificial como ferramenta de combate à desinformação: um estudo comparativo entre ChatGPT e DeepSeek na verificação de fake news. Revista Aracê, v. 7, n. 5, p. 21783–21794, 2025. DOI: 10.56238/arev7n5-047.
CAMINHA, W. J. S., et al. (2017) Método de Mineração de Texto com Foco no Português do Brasil com Redes Bayesianas. São José do Rio Preto- SP: DINCON 2017- Conferencia Brasileira de Dinâmica Controle e Aplicações.DOI: https://doi.org/10.5281/zenodo.17848466
CHICCO, D.; JURMAN, G. The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics, v. 21, art. 6, 2020. DOI: 10.1186/s12864-019-6413-7.
COHEN, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, v. 20, n. 1, p. 37–46, 1960. DOI: 10.1177/001316446002000104.
COSTA, D.; CASTRO, G. J.; ASSUNÇÃO, M. A. Desafios e perspectivas para a integração do ChatGPT no ensino superior: uma análise sistemática da literatura. Revista JRG de Estudos Acadêmicos, v. 8, n. 18, e181849, 2025. DOI: 10.55892/jrg.v8i18.1849.
DANIEL, H. B. S. et al. Fake news e desinformação impactam na baixa cobertura vacinal infantil. Brazilian Journal of Health Review, v. 8, n. 1, e76508, 2025. DOI: 10.34119/bjhrv8n1-048.
DEEPSEEK-AI. DeepSeek-R1: incentivizing reasoning capability in LLMs via reinforcement learning. arXiv, 2025. DOI: 10.48550/arXiv.2501.12948.
JI, Z. et al. Survey of hallucination in natural language generation. ACM Computing Surveys, v. 55, n. 12, art. 248, 2023. DOI: 10.1145/3571730.
KOTONYA, N.; TONI, F. Explainable automated fact-checking for public health claims. In: INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS, 28., 2020. Proceedings [...]. Barcelona: ICCL, 2020. p. 774–790. DOI: 10.18653/v1/2020.coling-main.188.
LIN, S.; HILTON, J.; EVANS, O. TruthfulQA: measuring how models mimic human falsehoods. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 60., 2022. Proceedings [...]. Dublin: ACL, 2022. p. 3214–3252. DOI: 10.18653/v1/2022.acl-long.229.
MCNEMAR, Q. Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, v. 12, p. 153–157, 1947. DOI: 10.1007/BF02295996.
MONTEIRO, R. A. et al. Contributions to the study of fake news in Portuguese: new corpus and automatic detection results. In: COMPUTATIONAL PROCESSING OF THE PORTUGUESE LANGUAGE. Cham: Springer, 2018. p. 324–334. DOI: 10.1007/978-3-319-99722-3_30.
OLIVEIRA, L. M. R.; COSTA, A. M. S.; FERNANDES, V. R. M. Inteligência artificial aplicada à detecção de fake news. In: ESCOLA REGIONAL DE COMPUTAÇÃO DO CEARÁ, MARANHÃO E PIAUÍ, 7., 2019, São Luís. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2019. p. 230–237.
OPENAI. Introducing GPT-4.1 in the API. San Francisco: OpenAI, 2025. Disponível em: https://openai.com/index/gpt-4-1/. Acesso em: 13 jul. 2026.
OPENAI. GPT-4o System Card. arXiv, 2024. DOI: 10.48550/arXiv.2410.21276.
PEW RESEARCH CENTER. Many Americans say made-up news is a critical problem that needs to be fixed. Washington, DC, 2019. Disponível em: https://www.pewresearch.org/journalism/2019/06/05/many-americans-say-made-up-news-is-a-critical-problem-that-needs-to-be-fixed/. Acesso em: 6 abr. 2025.
PORTO, G. M.; SANTOS, A. S. Os meios/alternativas da legislação brasileira para tratar casos que envolvam as fake news. Revista Foco, v. 18, n. 1, e7541, 2025. DOI: 10.54751/revistafoco.v18n1-081.
RAZA, S.; PAULEN-PATTERSON, D.; DING, C. Fake news detection: comparative evaluation of BERT-like models and large language models with generative AI-annotated data. arXiv, 2024. DOI: 10.48550/arXiv.2412.14276.
REIS, Andrew Nunes de Barros; CORRÊA NETO, Silvério Sirotheau; FAVERO, Eloi Luiz; SANTOS, João Carlos Alves dos; SILVA, Pollianni Leão da; MOURA, Thiago Rafael da Silva. Software quality metrics in the automatic evaluation of Python introductory programming. Brazilian Applied Science Review, Curitiba, v. 6, n. 5, p. 14087–14100, 2022. DOI: 10.34115/basrv6n5-006.
SANTOS, Wilker José Caminha dos; CAMARGO, Franco Feitosa Corrêa de; PICANÇO, Ailson Renan Santos; CONTE, Thiago Nicolau Magalhães de Souza; LOPES, Rogério Santiago; COUTINHO, Rosemary Maria Pimentel; SEIXAS, Vitória Nazaré Costa; SILVA, Elzelis Muller da; LIMA, Patrícia Danielle Lima de. MODELO INTELIGENTE BASEADO EM APRENDIZADO FEDERADO E VISÃO COMPUTACIONAL COM DADOS SIMULADOS PARA O DIAGNÓSTICO DISTRIBUÍDO DE DOENÇAS DO CACAUEIRO EM COOPERATIVAS DA AMAZÔNIA LEGAL. Veredas do Direito, [S. l.], v. 23, n. 11, p. e237511, 2026. DOI: 10.18623/rvd.v23.7511. Disponível em: https://revista.domhelder.edu.br/index.php/veredas/article/view/7511. Acesso em: 27 jul. 2026.
SENADO FEDERAL. DataSenado: 80% dos brasileiros temem impacto de fake news nas eleições. Radioagência Senado, 26 ago. 2024. Disponível em: https://www12.senado.leg.br/radio/1/noticia/2024/08/26/datasenado-80-dos-brasileiros-temem-impacto-de-fake-news-nas-eleicoes. Acesso em: 6 abr. 2025.
SHAKYA, R.; VADIEE, F.; KHALIL, M. A showdown between ChatGPT and DeepSeek in solving programming tasks. arXiv, 2025. DOI: 10.48550/arXiv.2503.13549.
SHU, K.; SLIVA, A.; WANG, S.; TANG, J.; LIU, H. Fake news detection on social media: a data mining perspective. ACM SIGKDD Explorations Newsletter, v. 19, n. 1, p. 22–36, 2017. DOI: 10.1145/3137597.3137600.
SHU, K.; MAHUDESWARAN, D.; WANG, S.; LEE, D.; LIU, H. FakeNewsNet: a data repository with news content, social context, and spatiotemporal information for studying fake news on social media. Big Data, v. 8, n. 3, p. 171–188, 2020. DOI: 10.1089/big.2020.0062.
THORNE, J. et al. FEVER: a large-scale dataset for fact extraction and verification. In: CONFERENCE OF THE NORTH AMERICAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 2018. Proceedings [...]. New Orleans: ACL, 2018. p. 809–819. DOI: 10.18653/v1/N18-1074.
TRIBUNAL SUPERIOR ELEITORAL. Pílulas contra a desinformação: notícias falsas circulam 70% mais rápido do que as verdadeiras. Brasília, 2022. Disponível em: https://www.tse.jus.br/comunicacao/noticias/2022/Junho/pilulas-contra-a-desinformacao-noticias-falsas-circulam-70-mais-rapido-do-que-as-verdadeiras. Acesso em: 6 abr. 2025.
VASCONCELOS, S. T. L. Tratando temas jurídicos na graduação em engenharia através da aprendizagem baseada em problemas e inteligência artificial: relato de experiência. Revista Interdisciplinar do Direito, v. 23, n. 1, e20252307, 2025. DOI: 10.24859/RID.2025v23n1.1719.
VOSOUGHI, S.; ROY, D.; ARAL, S. The spread of true and false news online. Science, v. 359, n. 6380, p. 1146–1151, 2018. DOI: 10.1126/science.aap9559.
WANG, W. Y. “Liar, liar pants on fire”: a new benchmark dataset for fake news detection. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 55., 2017. Proceedings [...]. Vancouver: ACL, 2017. p. 422–426. DOI: 10.18653/v1/P17-2067.
ZHOU, X.; ZAFARANI, R. A survey of fake news: fundamental theories, detection methods, and opportunities. ACM Computing Surveys, v. 53, n. 5, art. 109, 2020. DOI: 10.1145/3395046.
Downloads
Published
How to Cite
Issue
Section
License
I (we) submit this article which is original and unpublished, of my (our) own authorship, to the evaluation of the Veredas do Direito Journal, and agree that the related copyrights will become exclusive property of the Journal, being prohibited any partial or total copy in any other part or other printed or online communication vehicle dissociated from the Veredas do Direito Journal, without the necessary and prior authorization that should be requested in writing to Editor in Chief. I (we) also declare that there is no conflict of interest between the articles theme, the author (s) and enterprises, institutions or individuals.
I (we) recognize that the Veredas do Direito Journal is licensed under a CREATIVE COMMONS LICENSE.
Licença Creative Commons Attribution 3.0
