Una herramienta de detección de IA desarrollada por los laboratorios Pangram descubrió que los revisores pares utilizan cada vez más chatbots para redactar respuestas a los autores.Crédito: breakermaximus/iStock vía Getty
¿Qué pueden hacer los investigadores si sospechan que sus manuscritos han sido revisados por pares utilizando inteligencia artificial (IA)? Docenas de académicos han expresado su preocupación en las redes sociales sobre manuscritos y revisiones de pares presentados a los organizadores de la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) del próximo año, una reunión anual de especialistas en aprendizaje automático. Entre otras cosas, señalaron citas alucinadas y comentarios sospechosamente largos y vagos sobre su trabajo.
Graham Neubig, investigador de inteligencia artificial de la Universidad Carnegie Mellon en Pittsburgh, Pensilvania, fue uno de los que recibió revisiones por pares que parecían haber sido producido utilizando modelos de lenguaje grandes (LLM). Los informes, dice, eran «muy detallados con muchos puntos» y solicitaban análisis que no eran «los análisis estadísticos estándar que los revisores solicitan en los típicos artículos sobre inteligencia artificial o aprendizaje automático».
Pero Neubig necesitaba ayuda para demostrar que los informes fueron generados por IA. Entonces, publicó en X (anteriormente Twitter) y ofreció una recompensa a cualquiera que pudiera escanear todas las presentaciones de la conferencia y las revisiones de sus pares en busca de texto generado por IA. Al día siguiente, recibió una respuesta de Max Spero, director ejecutivo de Pangram Labs en la ciudad de Nueva York, que desarrolla herramientas para detectar texto generado por IA. Pangram examinó los 19.490 estudios y 75.800 revisiones por pares presentados para ICLR 2026, que tendrá lugar en Río de Janeiro, Brasil, en abril. Asistirán Neubig y más de 11.000 investigadores de IA.
El análisis de Pangram reveló que alrededor del 21% de las revisiones por pares de ICLR fueron generadas completamente por IA y más de la mitad contenían signos de uso de IA. Los hallazgos fueron publicado en línea por Pangram Labs. “La gente sospechaba, pero no tenían pruebas concretas”, afirma Spero. «En el transcurso de 12 horas, escribimos un código para analizar todo el contenido de texto de estos envíos de artículos», agrega.
Los organizadores de la conferencia dicen que ahora utilizarán herramientas automatizadas para evaluar si las presentaciones y revisiones de pares violaron las políticas sobre el uso. IA en presentaciones y revisiones por pares. Esta es la primera vez que la conferencia aborda este tema a escala, dice Bharath Hariharan, científico informático de la Universidad Cornell en Ithaca, Nueva York, y presidente principal del programa ICLR 2026. “Después de pasar por todo este proceso… eso nos dará una mejor noción de confianza”.
Revisión por pares escrita por IA
El equipo de Pangram utilizó una de sus propias herramientas, que predice si el texto es generado o editado por LLM. El análisis de Pangram detectó 15.899 revisiones por pares que fueron generadas íntegramente por IA. Pero también identificó muchos manuscritos que se habían presentado a la conferencia con casos sospechosos de texto generado por IA: se encontró que 199 manuscritos (1%) estaban completamente generados por IA; El 61% de los envíos fueron en su mayoría escritos por humanos; pero el 9% contenía más del 50% de texto generado por IA.
Pangram describió el modelo en una preimpresión.1que presentó a ICLR 2026. De las cuatro revisiones por pares recibidas para el manuscrito, una fue marcada como completamente generada por IA y otra como ligeramente editada por IA, según encontró el análisis del equipo.
La IA está transformando la revisión por pares y muchos científicos están preocupados
Para muchos investigadores que recibieron revisiones por pares por sus presentaciones a ICLR, el análisis de Pangram confirmó lo que habían sospechado. Desmond Elliott, científico informático de la Universidad de Copenhague, dice que una de las tres reseñas que recibió parecía no haber comprendido “el objetivo del artículo”. Su estudiante de doctorado que dirigió el trabajo sospechaba que la revisión fue generada por LLM, porque mencionaba resultados numéricos del manuscrito que eran incorrectos y contenían expresiones extrañas.
Cuando Pangram publicó sus hallazgos, añade Elliott, «lo primero que hice fue escribir el título de nuestro artículo porque quería saber si el instinto de mi estudiante era correcto». La sospechosa revisión por pares, que el análisis de Pangram marcó como totalmente generada por IA, le dio al manuscrito la calificación más baja, dejándolo “en el límite entre aceptar y rechazar”, dice Elliott. “Es profundamente frustrante”.
