Higiene de citações: o que os revisores verificam na sua lista de referências

Duas equipes mediram a mesma coisa a partir de direções opostas e chegaram a um número quase idêntico. Baethge e Jergas reuniram 46 estudos cobrindo 32.074 citações na literatura médica e encontraram que 16,9% delas distorciam a fonte à qual apontavam, com cerca de metade desses casos contados como erros graves. Wakeling e colegas dispensaram auditores externos e pediram a 2.648 autores correspondentes que julgassem uma citação real do próprio trabalho. Esses autores, as pessoas mais bem posicionadas para saber, classificaram 16,6% das citações como inexatas.

Assim, cerca de uma citação em seis não diz o que a frase citante afirma que ela diz. Os revisores leram os mesmos estudos, ou simplesmente já se queimaram vezes suficientes para se comportar como se tivessem lido.

Ninguém audita uma bibliografia linha a linha. O que um revisor faz é puxar as três ou quatro citações que sustentam o argumento e abri-las, o que basta para encontrar um problema com frequência suficiente para valer os dez minutos. Os erros de citação que aparecem em um artigo de pesquisa caem em duas famílias: a referência está errada sobre o que a fonte diz, ou está errada sobre qual fonte ela é. As duas famílias são encontráveis pelo autor em uma tarde, e quase ninguém procura.

O que conta como um erro de citação?

Um erro de citação é qualquer hiato entre o que a sua frase afirma que uma fonte estabelece e o que essa fonte, corretamente identificada, de fato contém. Isso cobre a leitura equivocada, mas também cobre uma referência que aponta para um artigo retratado ou que nunca existiu. As duas famílias por trás desses casos têm custos diferentes. Um erro de identidade parece descuido, o que é constrangedor, mas recuperável. Um erro de citação é uma afirmação que o seu artigo faz e não consegue sustentar, e um revisor que encontra um começa a se perguntar o que mais foi afirmado de memória.

Apenas as duas últimas linhas são visíveis a partir do manuscrito sozinho. Tudo acima delas exige abrir alguma coisa, e é exatamente por isso que esses erros sobrevivem até a revisão.

Com que frequência as citações estão erradas em artigos publicados?

Entre uma em seis e uma em quatro, conforme o estudo, e a estimativa permanece estável há uma década apesar de todo mundo saber dela.

A metanálise de 2015 de Jergas e Baethge cobriu 28 estudos e 7.321 referências e situou a taxa total de erro de citação em 25,4%, com 11,9% das referências gravemente incorretas. Mogull recalculou a mesma literatura em 2017 usando um denominador mais estrito, erros por citação examinada em vez de por artigo, e relatou 14,5%. A atualização de 2025 de Baethge e Jergas, agora cobrindo 46 estudos, chegou a 16,9% no total e 8,0% graves. A metarregressão não encontrou melhora ao longo do tempo.

Um número nessa atualização merece atenção à parte. Citações secundárias, em que um autor cita uma fonte primária por algo que encontrou em uma revisão ou na introdução de outro artigo, responderam por 5,3% das citações. Esse é o mecanismo por trás de uma parcela grande do restante: uma afirmação é copiada do enquadramento de um artigo para o próximo, deslocando-se um pouco a cada vez, até que uma frase na sua introdução atribui a um estudo de 1998 algo que o estudo de 1998 nunca afirmou.

Esses números vêm da medicina, onde esse tipo de auditoria é feito com mais frequência. Auditorias comparáveis em outras disciplinas são escassas, de modo que a premissa de trabalho precisa ser a de que a sua não é a exceção.

Como verificar se uma fonte diz o que você afirma que ela diz?

Dê a cada citação que sustenta o argumento um lócus de evidência: um número de página, tabela ou figura onde o suporte de fato se encontra, anotado onde você possa vê-lo.

A passagem leva uma tarde para um manuscrito típico.

1. Extraia cada frase que faz uma afirmação empírica e carrega uma citação. Buscar no manuscrito por (20, [ ou et al. captura a maior parte delas. Frases de contexto que citam a definição de um livro-texto podem ser puladas.
2. Ordene-as pelo quanto o artigo se apoia em cada uma. As afirmações que justificam o seu desenho ou o enunciado da lacuna vão para o topo. Quinze frases é uma contagem normal para o topo dessa lista.
3. Para cada uma, abra a fonte citada e encontre a frase, tabela ou figura específica que sustenta a sua afirmação. Anote o lócus em uma coluna de rascunho ao lado da frase: Fig 3, p. 1147, Table 2, column 4.
4. Qualquer afirmação em que você não consiga encontrar o lócus em dois minutos recebe uma de três correções. Reescreva a afirmação para coincidir com o que a fonte diz, substitua a citação por uma que a sustente, ou retire a afirmação.
5. Marque cada citação que você nunca leu de fato por completo. Se você soube do resultado por uma revisão, ou cita a revisão como revisão, ou lê o primário e o cita exatamente pelo que ele relata.

O passo cinco é onde mora o 5,3%. Também é o passo ao qual os autores mais resistem, porque a citação parece merecida: você de fato leu alguma coisa, e essa alguma coisa lhe disse isso. Os revisores que conhecem a literatura primária são precisamente as pessoas que pegam isso.

Algumas ferramentas acadêmicas especializadas, o Fukurō entre elas, sinalizam afirmações no seu texto que não carregam citação alguma, e referências que aparecem na lista mas nunca são discutidas. Nenhuma ferramenta consegue abrir um PDF e confirmar que a Tabela 2 sustenta a sua frase sobre tamanhos de efeito. Isso continua sendo uma passagem humana, e é a que muda as frases.

De onde vêm as referências fabricadas?

Cada vez mais de modelos de linguagem, e as taxas não são marginais. Quando Bhattacharyya e colegas pediram ao ChatGPT que gerasse 30 artigos médicos curtos em 2023, 47% das 115 referências produzidas foram fabricadas de imediato, 46% eram artigos reais citados de forma inexata, e 7% eram ao mesmo tempo reais e corretas. A qualidade dos modelos melhorou desde então, e os sistemas atuais com acesso a busca inventam menos fontes. A falha não desapareceu, e agora chega de forma mais sutil: um artigo real atrelado a uma afirmação que ele não faz, o que é um erro de citação vestindo um DOI válido. Os editores começaram a rastrear isso. Periódicos em vários grupos editoriais agora pedem que os autores declarem assistência de IA, e uma bibliografia contendo um DOI irresolúvel convida a uma verificação do restante.

A versão mecânica dessa verificação é rápida. Copie a sua lista de referências no Simple Text Query da Crossref, que aceita até 1.000 referências em qualquer estilo, uma por linha, e devolve o DOI que casa com cada uma. As referências que voltam sem correspondência são a sua lista de trabalho. Algumas estarão legitimamente ausentes, pois livros, teses e artigos mais antigos frequentemente não têm DOI. O restante são erros de digitação, fontes inventadas, ou entradas cujo metadado se afastou o bastante do registro real para que um sistema de correspondência não as reconheça, o que é aproximadamente o que o mecanismo de busca de um revisor também experimentará.

Como pegar uma referência retratada?

Ative os alertas de retratação no seu gerenciador de referências, porque a verificação manual nunca acontece no prazo. Hsiao e Schneider examinaram 13.252 contextos de citação a artigos biomédicos retratados publicados depois da retratação e encontraram que apenas 5,4% a reconheciam. Os autores não estavam defendendo o trabalho retratado. Não faziam ideia. A infraestrutura melhorou em 2023, quando a Crossref adquiriu o banco de dados do Retraction Watch e tornou os metadados de retratação livremente disponíveis pela API. Isso colocou o status de retratação onde o software consegue alcançá-lo. O Zotero sinaliza itens retratados na sua biblioteca e avisa quando você tenta citar um, cobrindo entradas que carregam DOI ou PMID, o que corresponde a cerca de três quartos dos registros do Retraction Watch. Outros gerenciadores acrescentaram verificações comparáveis.

Faça a verificação durante a redação, e não na submissão. Uma retratação pega cedo custa um parágrafo e uma tarde de leitura de substitutos. A mesma retratação pega pelo revisor dois força uma rodada de revisão que precisa explicar como um artigo retirado acabou sustentando parte do seu argumento.

Quando uma lista de referências parece manipulada?

Uma lista parece manipulada quando a sua forma deixa de coincidir com o argumento. Os revisores não estão contando autocitações, mas notam quando um agrupamento de referências a um periódico ou a um grupo se instala em um ponto do artigo em que o argumento não precisa delas.

O COPE trata a manipulação de citações como uma questão de ética da publicação, e não estilística, cobrindo autocitação excessiva, inflação no nível do periódico e citação coordenada entre periódicos. Os editores têm a própria versão do problema. Wilhite e Fong pesquisaram acadêmicos sobre editores que pedem citações ao próprio periódico do editor como condição implícita de aceite, e encontraram que, embora 86% considerem a prática inadequada, 57% disseram que acrescentariam citações supérfluas antes de submeter a um periódico conhecido por coagir, e menos de 7% esperavam que algum autor recusasse.

Esse hiato entre o que os autores condenam e o que os autores fazem é o motivo de as listas de referências carregarem resíduo. Parte é deliberada, a maior parte é acumulada, e um revisor não consegue distinguir qual é qual do lado de fora. O que eles conseguem ver é uma oração sustentada por quatro referências do mesmo laboratório, ou uma seção de trabalhos relacionados citando um periódico-alvo onze vezes sem se engajar com nenhuma das onze. A correção é um teste de função: cada referência existe para sustentar uma frase específica, e se você não consegue nomear a frase, a referência é decoração. Aplicado a um agrupamento suspeito, esse teste ou produz a frase que cada referência sustenta, ou produz um corte.

Por que isso muda a opinião de um revisor?

Porque a lista de referências é a única parte do artigo que um revisor consegue verificar sem confiar em você.

Eles não conseguem repetir o seu experimento. Não conseguem auditar os seus dados brutos; na maior parte dos casos nunca os veem, e o seu código de análise ou existe ou é uma promessa em uma declaração de disponibilidade de dados. A bibliografia é diferente: cada entrada é uma afirmação verificável sobre algo já público, e um revisor com um navegador pode testar qualquer uma delas em trinta segundos.

Essa assimetria é o motivo de os erros de citação pesarem mais do que o seu peso intelectual sugere. Um número de página errado é trivial. Um número de página errado encontrado por um revisor que acaba de ser informado de que o seu efeito se manteve sob três análises de sensibilidade é um dado sobre como o restante do artigo foi montado, e é o único dado desse tipo que eles conseguem coletar.

Referências e políticas úteis

1. Baethge C, Jergas H. Systematic review and meta-analysis of quotation inaccuracy in medicine. Research Integrity and Peer Review. 2025;10:13.
2. Jergas H, Baethge C. Quotation accuracy in medical journal articles: a systematic review and meta-analysis. PeerJ. 2015;3:e1364.
3. Mogull SA. Accuracy of cited “facts” in medical research articles: a review of study methodology and recalculation of quotation error rate. PLOS ONE. 2017;12(9):e0184727.
4. Wakeling S, Paramita ML, Pinfield S. How do authors perceive the way their work is cited? Findings from a large-scale survey on quotation accuracy. Journal of the Association for Information Science and Technology. 2025;76(10):1396-1410.
5. Hsiao TK, Schneider J. Continued use of retracted papers: temporal trends in citations and (lack of) awareness of retractions shown in citation contexts in biomedicine. Quantitative Science Studies. 2021;2(4):1144-1169.
6. Bhattacharyya M, Miller VM, Bhattacharyya D, et al. High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus. 2023;15(5):e39238.
7. Wilhite AW, Fong EA. Coercive citation in academic publishing. Science. 2012;335(6068):542-543.
8. COPE. Citation manipulation (documento de discussão).
9. COPE. Handling citation manipulation (nota de posição).
10. ICMJE. Recommendations: preparing a manuscript for submission.
11. Crossref. Simple Text Query.
12. Crossref. Retraction Watch data.
13. Retraction Watch. The Retraction Watch Database.
14. Zotero. Retracted item notifications.