Los resultados de la encuesta sugieren que los revisores pares recurren cada vez más a la IA.Crédito: Panther Media Global/Alamy
Más del 50% de los investigadores han utilizado inteligencia artificial al revisar manuscritos por pares, según un encuesta a unos 1.600 académicos en 111 países por la editorial Frontiers.
Casi una cuarta parte de los encuestados dijeron que habían aumentado el uso de la IA para la revisión por pares durante el año pasado. Los resultados, publicados el 11 de diciembre por la editorial con sede en Lausana, Suiza, confirman lo que muchos investigadores han sospechado durante mucho tiempoDado que ubicuidad de herramientas impulsadas por modelos de lenguaje grande como ChatGPT.
«Es bueno afrontar la realidad de que la gente está utilizando la IA en tareas de revisión por pares», dice Elena Vicario, directora de integridad de la investigación de Frontiers. Pero la encuesta sugiere que los investigadores están utilizando la IA en la revisión por pares “en contraste con muchas recomendaciones externas de no cargar manuscritos en herramientas de terceros”, añade.
Fuente: Desbloqueo de IA'el potencial sin explotarFronteras
Algunos editores, incluido Frontiers, permiten el uso limitado de la IA en la revisión por pares, pero exigen que los revisores lo revelen. Como la mayoría de los otros editores, Frontiers también prohíbe a los revisores cargar manuscritos inéditos en sitios web de chatbot debido a preocupaciones sobre la confidencialidad y comprometer la propiedad intelectual de los autores.
El informe de la encuesta pide a los editores que respondan a las Uso creciente de la IA en las publicaciones científicas. e implementar políticas que se adapten mejor a la «nueva realidad». La propia Frontiers ha lanzado una plataforma interna de inteligencia artificial para revisores pares en todas sus revistas. “La IA debe usarse en la revisión por pares de manera responsable, con guías muy claras, con responsabilidad humana y con la capacitación adecuada”, afirma Vicario.
«Estamos de acuerdo en que los editores pueden y deben comunicar de manera proactiva y sólida las mejores prácticas, en particular los requisitos de divulgación que refuerzan la transparencia para apoyar el uso responsable de la IA», dice un portavoz de la editorial Wiley, con sede en Hoboken, Nueva Jersey. en un encuesta similar publicado a principios de este añoWiley descubrió que “los investigadores tienen relativamente poco interés y confianza en los casos de uso de IA para la revisión por pares”, añaden. «No vemos nada en nuestra cartera que contradiga esto».
Comprobar, buscar y resumir
La encuesta de Frontiers encontró que, entre los encuestados que utilizan la IA en la revisión por pares, el 59% la usa para ayudar a escribir sus informes de revisión por pares. El veintinueve por ciento dijo que lo utiliza para resumir el manuscrito, identificar lagunas o comprobar referencias. Y el 28 % utiliza la IA para detectar posibles signos de mala conducta, como el plagio y la duplicación de imágenes (consulte 'Asistencia de la IA').
Mohammad Hosseini, que estudia la ética e integridad de la investigación en la Facultad de Medicina Feinberg de la Universidad Northwestern en Chicago, Illinois, dice que la encuesta es «un buen intento de medir la aceptabilidad del uso de la IA en la revisión por pares y la prevalencia de su uso en diferentes contextos».
La IA está transformando la revisión por pares y muchos científicos están preocupados
Algunos investigadores están realizando sus propias pruebas para determinar qué tan bien los modelos de IA respaldan la revisión por pares. El mes pasado, el científico en ingeniería Mim Rahimi de la Universidad de Houston en Texas diseñó un experimento para probar si el modelo de lenguaje grande (LLM) GPT-5 podría revisar un Comunicaciones de la naturaleza papel1 él es coautor.
Utilizó cuatro configuraciones diferentes, desde ingresar indicaciones básicas para pedirle al LLM que revisara el artículo sin contexto adicional hasta proporcionarle artículos de investigación de la literatura para ayudarlo a evaluar la novedad y el rigor de su artículo. Luego, Rahimi comparó los resultados generados por la IA con los informes reales de revisión por pares que había recibido de la revista y discutió sus hallazgos en una reunión. vídeo de youtube.
Su experimento demostró que GPT-5 podía imitar la estructura de un informe de revisión por pares y utilizar un lenguaje refinado, pero no lograba producir comentarios constructivos y cometía errores fácticos. Incluso las indicaciones avanzadas no mejoraron el rendimiento de la IA; de hecho, la configuración más compleja generó la revisión por pares más débil. Otro estudio encontró que las revisiones de 20 manuscritos generadas por IA tendían a igualar a los humanos pero no llegaban a proporcionar una crítica detallada.
Rahimi dice que el ejercicio le enseñó que las herramientas de inteligencia artificial “podrían proporcionar cierta información, pero si alguien simplemente confiara en esa información, sería muy dañino”.
