ASEGURAMIENTO DE LA CALIDAD

Rankings de investigación e innovación bajo la lupa

Pedro Pablo Rosso, el 30 de noviembre de 2021 - 19:32 hrs.


Pedro Pablo Rosso, Unidad de Investigación Fundación Foro AEQUALIS.- Hace algunas semanas (11/11/2021) fue publicado en el diario El Mercurio el Ranking I+D+i 2021, del Grupo de Estudios Avanzados Universitas. En su elaboración se utilizaron indicadores obtenidos en diversas fuentes nacionales y en la base de datos Web of Science. Una versión anterior, con algunas diferencias metodológicas, había sido dada a conocer en 2019.  La aparición de este nuevo ranking de investigación e innovación puso fin a la exclusividad que, desde el año 2009, tenía el “SCimago Institutions Rankings-Chile”. Elaborado por el SCImago Lab, con sede en España, utilizando indicadores obtenidos en la base de datos de Elsevier-Scopus y fuentes internacionales como PATSAT, PlumX Metrics, Mendeley, Ahrefs database y Web size, este ranking ha sido de gran utilidad para el seguimiento del progreso de nuestras universidades en cuanto a publicaciones y solicitudes de patentes.

Inevitablemente, la disponibilidad de dos rankings de investigación e innovación mueve a comparar sus resultados. En este caso, SCimago Lab y Universitas coinciden ubicando en los tres primeros lugares a las universidades Católica de Chile, de Chile y de Concepción, en ese orden. Pero es la única semejanza significativa. En el resto de las ubicaciones las diferencias son tan llamativas que las coincidencias parecen simplemente aleatorias. Ejemplos de esto son la Universidad Mayor, que SCimago Lab ubica en el lugar 10 de su ranking mientras que en el de Universitas aparece en la posición 26; y la Universidad de Magallanes, ubicada en la posición 18 del Ranking SCimago y en el 36 del Ranking Universitas. Hay otros ejemplos análogos. Esto, junto con sorprender, invita a reflexionar sobre la validez de los rankings universitarios.

¿Cómo se explica tanta disparidad? ¿A qué ranking “creerle”? Estas preguntas surgen también al comparar entre sí los resultados de los “rankings mundiales” de universidades y constatar las considerables diferencias que existen entre ellos. Todas esas inconsistencias revelan un hecho: la fragilidad metodológica de esos supuestos instrumentos de evaluación. Fragilidad que radica, principalmente, en dos aspectos: la pertinencia y confiabilidad de los indicadores y la discrecionalidad de las ponderaciones. El primero de ellos depende, en gran medida, de la disponibilidad de información y de la calidad tanto de las fuentes utilizadas como del procesamiento de datos. Al respecto, SCimago Lab reconoce, en forma implícita, las dificultades inherentes a la correcta identificación en sus bases de datos de las instituciones y las asignaciones respectivas de publicaciones, citas, patentes, etc. El segundo aspecto, en cambio, depende de la voluntad discrecional de los autores. En efecto, la definición de las ponderaciones de cada indicador y dimensión es puramente arbitrario, carece de bases empíricas. Simplemente ellas no existen en la literatura, para ningún tipo de indicador y ranking. Por consiguiente, las ponderaciones son, a la vez, cruciales y arbitrarias, lo que, obviamente, se presta para introducir todo tipo de sesgos, el más común de los cuales favorece a las instituciones de mayor tamaño (en cuanto al número de académicos).

Por estas razones, los resultados de rankings de investigación de distintas autorías no son comparables. El “creer” o “no creer” en los resultados de unos o de otros es, por lo tanto, una decisión personal. En el caso de las diferencias antes comentadas, entre los rankings de SCimago Lab y Universitas, es posible que reflejen la mayor ponderación que el primero otorga a indicadores “tamaño-dependientes”. Concretamente, se trata de aquellos de las dimensiones “innovación” e “impacto social”, que aportan el 50 por ciento del puntaje final. El Ranking de Universitas, en cambio, minimiza ese sesgo asignándoles una baja ponderación a los indicadores “tamaño-dependientes”.

De todo lo anterior podemos concluir que cualquier afirmación apodíctica sobre la validez de un ranking es falsa a priori; lo que no obsta para que los continuemos usando. En lo que a mí respecta, no dudo en preferir, por considerar más fidedigno, el Ranking del Grupo Universitas, aunque reconozco un conflicto de intereses: soy su Director Ejecutivo. Juzgue usted.