ChatGPT e Claude apontaram repetição de estruturas e regularidade textual;
Gemini e Grok chegaram a conclusões diferentes
Reprodução
Um relatório de inteligência da Polícia Federal usado pelo ministro
Alexandre de Moraes, do Supremo Tribunal Federal (STF) no Inquérito
das Fake News, contém padrões de linguagem e estrutura compatíveis
com textos produzidos ou revisados com auxílio de inteligência
artificial (IA), segundo análises feitas pelo ChatGPT e pelo Claude.
Os dois modelos estimaram em 75% e 73%, respectivamente, a
probabilidade de participação de IA na elaboração do material. Outros
dois modelos submetidos ao mesmo teste chegaram a resultados
opostos: o Gemini estimou a probabilidade em 5%, enquanto o Grok
apontou 15%.
Entre os critérios estão repetição excessiva de palavras ou estruturas
sintáticas, regularidade do estilo, construções semelhantes a modelos
predefinidos, naturalidade do discurso, contextualização e qualidade
dos exemplos.
As quatro ferramentas recberam o mesmo documento e o mesmo
comando de análise. O prompt foi elaborado pelo professor Marcelo
Sabbatini, da Universidade Federal de Pernambuco, para identificar
características aparentes associadas a textos gerados por IA. As
avaliações não permitem determinar a autoria do documento nem
comprovar o emprego da tecnologia
Agentes da Polícia Federal | Foto: Divulgação/ PF
Estruturas repetidas chamaram atenção da IA
ChatGPT e Claude apontaram como um dos principais indícios a
repetição de uma mesma estrutura ao longo do relatório. O documento
apresenta, várias vezes, uma sequência com fatos, avaliação, grau de
confiança, hipóteses alternativas, riscos e recomendações. Expressões
como “Avalia-se que”, “Registre-se” e “Grau de confiança” também
aparecem com frequência.
Os dois modelos também destacaram a repetição de frases construídas
em oposição, como “não é X, mas Y”. O Claude chamou atenção ainda
para frases de efeito usadas no fim de análises e para trechos em que o
texto explica os limites das próprias conclusões.
Para o ChatGPT, a repetição dessas estruturas e a forma como os
argumentos são organizados são compatíveis com o uso de IA na
redação, organização ou revisão do relatório. Isso não significa, porém,
que todo o conteúdo tenha sido produzido pela tecnologia.
O Claude chegou a uma conclusão semelhante. Entre os principais
sinais, apontou “a uniformidade estrutural”, “a repetição quase
mecânica das tríades de ‘grau de confiança’” e a repetição de formas
semelhantes de construir argumentos e explicar o grau de certeza das
análises.
Os indícios de uso de IA no relatório da PF usado por Moraes
https://revistaoeste.com/politica/os-indicios-de-uso-de-ia-no-relatorio-da-pf-usado-por-moraes/ 5/11
No entanto, o relatório traz informações específicas, como datas,
números de procedimentos, leis, valores, nomes e referências a
documentos.
Para ChatGPT e Claude, esse nível de detalhe pesa contra
a hipótese de um texto genérico produzido por IA, mas não afasta a
possibilidade de uso da tecnologia para organizar, redigir ou revisar
informações fornecidas por uma pessoa.
Gemini e Grok discordaram
Gemini e Grok interpretaram de maneira diferente parte dos mesmos
padrões.
Para as duas ferramentas, a regularidade e a repetição
observadas podem decorrer da natureza técnica e institucional do
relatório.
O Gemini classificou como “Muito baixa / improvável” a probabilidade
de geração por IA e atribuiu índice de 5%. O modelo destacou a
densidade de informações específicas, a metodologia analítica e a
padronização do documento.
O Grok também considerou baixa a possibilidade e estimou 15%.
Segundo sua análise, a repetição de expressões como “Grau de
confiança”, “Avaliação” e das classificações “[D]”, “[R]” e “[A]” teria
função metodológica.
Usuário acessa o aplicativo do ChatGPT pelo celular; criadora da ferramenta de inteligência artificial, a OpenAI deu o primeiro passo para
abrir capital na bolsa | Foto: Reprodução/Freepik
Sabbatini, autor do prompt usado nos quatro testes, ressalta que a
ferramenta não deve servir como prova de autoria. Ao apresentar o
método, em março de 2025, o professor recomendou cautela na
interpretação dos resultados: “Em hipótese nenhuma assuma que é um
veredito inquestionável e objetivo”.
Assim, as estimativas variaram de 5% a 75%, uma diferença de 70
pontos porcentuais. As análises identificaram padrões semelhantes no
documento, mas divergiram sobre se eles constituem indícios de uso de
inteligência artificial ou características da redação técnica adotada no
relatório.
Mateus Conte - Revista Oester
