Critérios aplicados na avaliação do documento
A análise levou em conta diversos critérios para verificar a possível participação de tecnologia na produção do texto. Entre eles estão a repetição excessiva de palavras ou estruturas sintáticas, a regularidade do estilo, construções semelhantes a modelos predefinidos, a naturalidade do discurso, a contextualização e a qualidade dos exemplos apresentados.
As quatro ferramentas receberam o mesmo documento e o mesmo comando de análise. O prompt foi elaborado pelo professor Marcelo Sabbatini, da Universidade Federal de Pernambuco, com o objetivo de identificar características aparentes associadas a textos gerados por IA. As avaliações, contudo, não permitem determinar a autoria do documento nem comprovar de forma definitiva o emprego da tecnologia.
Receba no WhatsApp as principais noticias do diaEntre no grupo do ContraFatos e acompanhe os destaques em primeira mao.
Entrar no grupo Padrões repetitivos no relatório chamaram atenção
Um dos principais indícios apontados por ChatGPT e Claude foi a repetição de uma mesma estrutura ao longo do relatório da PF. O documento apresenta, diversas vezes, uma sequência composta por fatos, avaliação, grau de confiança, hipóteses alternativas, riscos e recomendações.
Expressões como “Avalia-se que”, “Registre-se” e “Grau de confiança” surgem com frequência ao longo do texto. Ambos os modelos também destacaram a recorrência de frases construídas em oposição, no formato “não é X, mas Y”.
O Claude chamou a atenção especificamente para frases de efeito posicionadas ao final de análises e para trechos nos quais o texto explica os limites das próprias conclusões — um comportamento considerado típico de modelos de linguagem.
Conclusões divergentes entre os modelos
Na avaliação do ChatGPT, a repetição dessas estruturas e a maneira como os argumentos são organizados são compatíveis com o uso de IA na redação, na organização ou na revisão do relatório. O modelo ressalvou, porém, que isso não significa necessariamente que todo o conteúdo tenha sido produzido pela tecnologia.
O Claude chegou a uma conclusão semelhante. Já o Gemini e o Grok, ao contrário, atribuíram os padrões repetitivos às características inerentes à redação técnica policial, resultando em probabilidades muito baixas de participação de inteligência artificial na elaboração do documento usado por Moraes.
