ChatGPT e Claude apontaram repetição de estruturas e regularidade textual; Gemini e Grok chegaram a conclusões diferentes
Um relatório de inteligência da Polícia Federal usado pelo ministro Alexandre de Moraes, do Supremo Tribunal Federal (STF) no Inquérito das Fake News, contém padrões de linguagem e estrutura compatíveis com textos produzidos ou revisados com auxílio de inteligência artificial (IA), segundo análises feitas pelo ChatGPT e pelo Claude.
Os dois modelos estimaram em 75% e 73%, respectivamente, a probabilidade de participação de IA na elaboração do material. Outros dois modelos submetidos ao mesmo teste chegaram a resultados opostos: o Gemini estimou a probabilidade em 5%, enquanto o Grok apontou 15%.
Entre os critérios estão repetição excessiva de palavras ou estruturas sintáticas, regularidade do estilo, construções semelhantes a modelos predefinidos, naturalidade do discurso, contextualização e qualidade dos exemplos.
As quatro ferramentas recberam o mesmo documento e o mesmo comando de análise. O prompt foi elaborado pelo professor Marcelo Sabbatini, da Universidade Federal de Pernambuco, para identificar características aparentes associadas a textos gerados por IA. As avaliações não permitem determinar a autoria do documento nem comprovar o emprego da tecnologia
Agentes da Polícia Federal | Foto: Divulgação/ PF
Estruturas repetidas chamaram atenção da IA
ChatGPT e Claude apontaram como um dos principais indícios a repetição de uma mesma estrutura ao longo do relatório. O documento apresenta, várias vezes, uma sequência com fatos, avaliação, grau de confiança, hipóteses alternativas, riscos e recomendações. Expressões como “Avalia-se que”, “Registre-se” e “Grau de confiança” também aparecem com frequência.
Os dois modelos também destacaram a repetição de frases construídas
em oposição, como “não é X, mas Y”. O Claude chamou atenção ainda
para frases de efeito usadas no fim de análises e para trechos em que o
texto explica os limites das próprias conclusões.
Para o ChatGPT, a repetição dessas estruturas e a forma como os argumentos são organizados são compatíveis com o uso de IA na redação, organização ou revisão do relatório. Isso não significa, porém, que todo o conteúdo tenha sido produzido pela tecnologia.
O Claude chegou a uma conclusão semelhante. Entre os principais
sinais, apontou “a uniformidade estrutural”, “a repetição quase
mecânica das tríades de ‘grau de confiança’” e a repetição de formas
semelhantes de construir argumentos e explicar o grau de certeza das
análises.
Os indícios de uso de IA no relatório da PF usado por Moraes https://revistaoeste.com/politica/os-indicios-de-uso-de-ia-no-relatorio-da-pf-usado-por-moraes/ 5/11 No entanto, o relatório traz informações específicas, como datas, números de procedimentos, leis, valores, nomes e referências a documentos.
Para ChatGPT e Claude, esse nível de detalhe pesa contra a hipótese de um texto genérico produzido por IA, mas não afasta a possibilidade de uso da tecnologia para organizar, redigir ou revisar informações fornecidas por uma pessoa. Gemini e Grok discordaram Gemini e Grok interpretaram de maneira diferente parte dos mesmos padrões.
Para as duas ferramentas, a regularidade e a repetição observadas podem decorrer da natureza técnica e institucional do relatório. O Gemini classificou como “Muito baixa / improvável” a probabilidade de geração por IA e atribuiu índice de 5%. O modelo destacou a densidade de informações específicas, a metodologia analítica e a padronização do documento.
O Grok também considerou baixa a possibilidade e estimou 15%. Segundo sua análise, a repetição de expressões como “Grau de confiança”, “Avaliação” e das classificações “[D]”, “[R]” e “[A]” teria função metodológica.
Sabbatini, autor do prompt usado nos quatro testes, ressalta que a ferramenta não deve servir como prova de autoria. Ao apresentar o método, em março de 2025, o professor recomendou cautela na interpretação dos resultados: “Em hipótese nenhuma assuma que é um veredito inquestionável e objetivo”.
Assim, as estimativas variaram de 5% a 75%, uma diferença de 70 pontos porcentuais. As análises identificaram padrões semelhantes no documento, mas divergiram sobre se eles constituem indícios de uso de inteligência artificial ou características da redação técnica adotada no relatório.
Mateus Conte - Revista Oester