De la medición de resultados hacia la evaluación de impactos de la I+D+i+e

Columna AEQUALIS 06. Abril 2025

Claudia Reyes,
Consultora,
Especialista en Análisis Institucional.

Tradicionalmente, las universidades han demostrado sus resultados de investigación a través de un sistema de métricas reconocidas globalmente. El conocimiento se contabiliza por el número de publicaciones generadas y sus correspondientes citas, validadas por las comunidades académicas de las disciplinas, e indexadas en bases de datos que cubren la producción internacional del conocimiento. Las capacidades desarrolladas por las universidades para transferir y agregar valor al conocimiento producido fuera de su ámbito interno, incorporan otros resultados, producto de la transferencia tecnológica, la innovación, la prestación de servicios, y la incubación de empresas (EBCT, Spin-Offs y Startups) al interior de las mismas instituciones. Así, nuevas métricas estandarizadas internacionalmente se agregan a las anteriores, como el número de patentes y licencias de innovación y los ingresos generados por proyectos y servicios.

Los indicadores de medición de resultados de la I+D+i+e se han sofisticado en el tiempo a partir de propuestas hechas por rankings internacionales, los que además han comenzado a considerar la medición de los denominados “impactos” logrados por las universidades. Por ejemplo, el ranking Scimagodenomina Impacto Social a una dimensión que incluye indicadores asociados a la visibilidad de las instituciones en la web, presencia femenina en la producción científica e influencia en la generación de políticas públicas (Scimago, 2025). El Ranking QS, recientemente incorporó a sus métricas indicadores de desarrollo sustentable en una nueva dimensión de evaluación denominada Sustentabilidad (QS, 2025). Mención aparte merece el Impact Ranking de Times Higher Education, cuya estrategia de medición se alinea completamente con los Objetivos de Desarrollo Sustentable (ODS) enunciados por Naciones Unidas, que busca evaluar la contribución que hacen las universidades para resolver los problemas que actualmente aquejan a la población mundial. Este ranking califica la evidencia que las universidades son capaces de construir y reportar, para evaluar su aporte a cada uno de los 17 ODS enunciados. Las métricas utilizadas consideran la producción científica generada en torno a los temas de los ODS; y para evaluar las capacidades de innovación asociadas al ODS9: Industria, Innovación e Infraestructura, que explora cómo las universidades conducen la innovación hacia vínculos con la industria; se contabilizan las patentes, spin-Offs e ingresos de investigación provenientes de la industria y el comercio (Impact Ranking, 2024).

Pero estos indicadores de resultados, ampliamente desarrollados en el Manual de Frascati (2015) y Manual de Oslo (2018) publicados por la OCDE para orientar a los países e instituciones en su medición y rendición de cuentas, no son suficientes para demostrar cuestiones más cualitativas, como los efectos esperados o inesperados que las acciones de I+D+i+e tienen sobre los beneficiarios y usuarios del conocimiento y de los productos generados. El desafío que entonces se nos plantea es el de definir y construir mecanismos para demostrar lo que se ha denominado “impactos”.

En la literatura científica se reconocen los impactos, como los efectos de las acciones de I+D+i+e en los públicos objetivo de las iniciativas emprendidas; lo que abre un abanico de posibilidades que comprende tanto métricas cuantitativas como cualitativas para aproximarse a una estimación de los efectos. En rigor, la evaluación de impactos se realiza a través de estudios experimentales o cuasi experimentales que representan el “gold standard” entre los instrumentos de evaluación (Read et al, 2021), pues permiten observar y determinar con mayor grado de certeza, la constatación de transformaciones o cambios conductuales en las poblaciones beneficiadas, cuya causal es atribuible únicamente a la iniciativa evaluada. Sin embargo, este tipo de estudios requiere de ciertas condiciones, no siempre factibles, para llevarlos a cabo, como: 1) el hecho de asegurar una alta cobertura de datos y confiabilidad de la información disponible sobre las poblaciones beneficiarias; 2) el largo tiempo para obtener resultados: se inician un tiempo después de finalizadas las iniciativas, y tienen un período de ejecución que fácilmente puede superar uno o dos años; y 3) son de alto costo, tanto en recursos humanos especializados, como monetarios.

Referencias                                    

Impact Ranking (2024), Times Higher Education. Ranking website https://www.timeshighereducation.com/world-university-rankings/impact- rankings-2024-results-announced

OCDE. (2015). Frascati Manual. Guidelines for Collecting and Reporting Data on Research and Experimental Development.       

OCDE. (2018). Oslo Manual 2018: Guidelines for Collecting, Reporting and Using Data on Innovation, 4th Edition. Paris.

ONU (2025). Objetivos de Desarrollo Sostenible, UNESCO, 2015. https://www.un.org/sustainabledevelopment/es/development-agenda/

QS (2025) Rankings website. Methodology. https://support.qs.com/hc/en-gb/articles/4405955370898-QS-World- University-Rankings

Read, M.S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolf, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy 50.

Scimago (2025). Ranking Scimago website. Methodology. https://www.scimagoir.com/methodology.php