Un equipo de informáticos dirigido por la Universidad de Colorado en Boulder ha desarrollado una nueva plataforma de inteligencia artificial que explora automáticamente las revistas científicas “sospechas”.
El estudio fue publicado en el Journal of Science Advances el 27 de agosto y aborda tendencias sorprendentes en el mundo de la investigación.
Daniel Acknya, autor principal de la investigación y profesor asociado en el Departamento de Ciencias de la Computación, le recuerda eso varias veces a la semana en su bandeja de entrada de correo electrónico. Estos mensajes de spam provienen de personas que afirman ser editores de revistas científicas.
Dichas publicaciones a veces se denominan revistas “depredadoras”. Se dirigen a los científicos y los convencen de que paguen cientos o incluso miles de dólares para publicar su investigación sin una revisión adecuada.
“Hay esfuerzos crecientes entre científicos y organizaciones para examinar estas revistas”, dijo Acuña. “Pero es como un carro. Capturas uno y, por lo general, surge otro de la misma compañía. Simplemente crean un nuevo sitio web y se les ocurre un nuevo nombre”.
Las nuevas herramientas de IA de su grupo examinan automáticamente las revistas científicas y evalúan sus sitios web y otros datos en línea sobre criterios específicos. ¿La revista tiene una junta editorial con investigadores establecidos? ¿Su sitio web contiene muchos errores de gramática?
Acuña enfatiza que las herramientas no son perfectas. En última instancia, él cree que los expertos humanos, no las máquinas, deberían llamar en última instancia si la revista tiene una alta reputación.
Pero en una época en la que las figuras prominentes cuestionan la legitimidad de la ciencia, se ha vuelto más importante que nunca detener la propagación de publicaciones cuestionables.
“En la ciencia, no comienzas desde cero. Estás construido además de la investigación de otras personas”, dijo Aknya. “Entonces, cuando la base de esa torre se desmorona, todo se derrumba”.
Chantaje
Cuando un científico presenta una nueva investigación a una publicación de buena reputación, la investigación generalmente está sujeta a una práctica llamada revisión por pares. Los expertos externos leen la investigación y la evalúan para la calidad, o al menos ese es el objetivo.
Cada vez más empresas están tratando de evitar ese proceso para obtener ganancias. En 2009, el bibliotecario de CU Denver, Jeffrey Beall, acuñó la frase del diario “depredador” para describir estas publicaciones.
A menudo son dirigidos a investigadores fuera de los Estados Unidos y Europa, como los países donde las instituciones científicas pueden ser más jóvenes, como China, India e Irán.
“Dirán: ‘Si paga $ 500 o $ 1,000, revisaremos su trabajo'”, dijo Acuña. “La verdad es que no brindan un servicio. Simplemente toman el PDF y lo publican en su sitio web”.
Varios grupos diferentes han tratado de suprimir las prácticas. Entre ellos se encuentra una organización sin fines de lucro conocida como el directorio de Open Access Journal (DOAJ). Desde 2003, los voluntarios de DOAJ han marcado a miles de revistas como sospechosas basadas en seis criterios. (Por ejemplo, las publicaciones de buena reputación tienden a tener una descripción detallada de su política de revisión por pares en su sitio web).
Sin embargo, responder a la propagación de esas publicaciones ha sido difícil para los humanos.
Para acelerar el proceso, Acuña y sus colegas recurrieron a la IA. El equipo capacitó al sistema utilizando datos de DOAJ y le pidió a AI que examinara una lista de casi 15,200 revistas de acceso abierto en Internet.
Entre estas revistas, la IA inicialmente marcó más de 1.400 como potencialmente problemáticas.
Acuña y sus colegas pidieron a los expertos humanos que revisen un subconjunto de revistas sospechosas. Los humanos dicen que la IA cometió un error y marcó un estimado de 350 publicaciones que probablemente sean legales. Todavía deja atrás más de 1,000 revistas que los investigadores han identificado como sospechosos.
“Creo que esto debería usarse como un ayudante para prever una gran cantidad de revistas”, dijo. “Pero los expertos humanos deberían hacer el análisis final”.
Firewall para la ciencia
Acuña agregó que los investigadores no quieren que el sistema sea “cajas negras” como otras plataformas de IA.
“Cuando usas ChatGPT, por ejemplo, a menudo no entiendes por qué sugiere algo”, dijo Acuña. “Intentamos hacerlo lo más interpretable posible”.
El equipo descubrió, por ejemplo, que las revistas sospechosas publican tantos artículos. También incluimos autores con más afiliaciones que revistas legales, y autores que citaron su propia investigación a un nivel inusualmente alto en lugar de la investigación de otros científicos.
El nuevo sistema de IA no está disponible, pero los investigadores quieren que esté disponible de inmediato para universidades y editores. Acuña ve esta herramienta como una forma en que los investigadores pueden proteger su campo de los malos datos. Lo llama el “firewall de ciencias”.
“Como científico informático, a menudo doy ejemplos de nuevos teléfonos inteligentes cuando salen”, dijo. “Sabemos que el software de teléfonos móviles es defectuoso y esperamos que ocurran correcciones de errores en el futuro. Quizás la ciencia debería hacer lo mismo”.
Los coautores de este estudio incluyeron a Han Chuan del Instituto de Tecnología del Este en China y Ritzhen Lian de la Universidad de Syracuse en los Estados Unidos.
