La Importancia de la Novedad en la Ciencia
La novedad es frecuentemente considerada una virtud en la ciencia. Pero, ¿qué significa realmente y cuán valiosa es? Un manuscrito escrito en un lenguaje incomprensible podría ser considerado novedoso, aunque en realidad no sirva de nada. Asimismo, los estudios que intentan replicar investigaciones previas pueden ser valiosos, aunque no sean considerados novedosos.
Algunos científicos sostienen que el actual sistema de investigación, impulsado por métricas basadas en citas, lleva a los investigadores a optar por soluciones seguras. Obtener citas por trabajos incrementales en campos establecidos es más fácil que romper barreras y explorar nuevas áreas. Otros argumentan que este sistema existente exige novedad a costa de la profundidad y la replicación, y que lo que se considera novedoso puede ser subjetivo.
Como co-líder de la Unidad de Metaciencia del Reino Unido, he estado lidiando con este debate. Es crucial preguntar si más novedad haría que la investigación fuera más impactante. Sin embargo, me he visto bloqueado por el hecho de que no existen buenas maneras de medir la novedad. Sin buenos indicadores, los investigadores no pueden evaluar la frecuencia de los trabajos originales ni su valor en el progreso científico.
Los metacientíficos han intentado asignar puntajes de novedad a los artículos académicos —y a sus autores— de varias maneras, aunque ninguna es infalible. Un método identifica a los primeros usuarios de ciertas palabras clave, permitiéndonos ver retrospectivamente quiénes fueron los pioneros de ciertas ideas. Otro método examina cómo se citan entre sí los trabajos científicos; la investigación novedosa a menudo cita combinaciones de artículos que no se habían vinculado anteriormente.
En los últimos años, han surgido modelos basados en inteligencia artificial (IA) que analizan la similitud textual entre un artículo y la investigación existente. Al procesar grandes cantidades de texto de manuscritos en línea, estos modelos tienen el potencial de ser más efectivos que los modelos anteriores en detectar la originalidad de un trabajo, incluso en casos donde el estudio no cite el trabajo al que se asemeja. Como estos modelos analizan significados de palabras y oraciones, no puntuarían un artículo más alto solo por usar un lenguaje variado, como “masa” en lugar de “dinero”.
No obstante, estos indicadores de novedad basados en IA, y sus predecesores en cierta medida, aún no han sido validados de manera sólida. ¿Se alinean con los juicios humanos sobre lo que es ciencia novedosa? ¿Identificarían trabajos que más tarde ganaron premios Nobel o fueron financiados por programas centrados en la novedad, como los de DARPA y ARIA? Sin probarlos a gran escala en múltiples campos, no podemos confiar en ellos.
Por eso, la Unidad de Metaciencia del Reino Unido se ha asociado con la organización sin ánimo de lucro RAND Europe, la Unidad de Investigación en Políticas Científicas de Sussex y la editorial Elsevier para lanzar MetaNIC (ver go.nature.com/3hhsdp3), una competición para producir y validar indicadores de novedad en artículos académicos. La competición, que estará abierta hasta noviembre, invita a investigadores de todo el mundo.
Los participantes diseñarán evaluaciones de novedad y las probarán en un conjunto de 50,000 artículos de investigación de diversas áreas. Compararemos los puntajes de los algoritmos con un vasto conjunto de datos de “verdad base”, recopilado al pedir a más de 10,000 investigadores que evaluaran la novedad del mismo conjunto de artículos, cada uno teniendo que juzgar solo estudios de su propio campo. El equipo cuya evaluación de indicador se alinee mejor con los juicios humanos recibirá £300,000 (US$407,000) para seguir desarrollando su trabajo.
Una vez que tengamos un indicador que coincida de manera confiable con los juicios humanos, los metacientíficos podrán estudiar el papel de la originalidad en el progreso científico.