Categorías
Actualidad Gestión universitaria

Shangai 2021, claves para entender el ranking más prestigioso

La edición del 2021 del Shangai Ranking se publicó el pasado mes de agosto. En este post me propongo revisar cómo funciona y qué evalúa este ranking, el más longevo y con mayor prestigio del sector.

Su metodología tiene consecuencias en el modelo de excelencia que emplea el ranking para comparar a las universidades. Me centraré en analizar cinco factores para comprender el alcance y las claves del éxito de este ranking.

En primer lugar, el de Shangai tiene un claro sesgo hacia la publicación científica. De los seis indicadores que componen la “fórmula” de esta clasificación, cuatro ellos se refieren a la capacidad de las universidades de publicar artículos y ser citados (investigadores con citas académicas -20%-, artículos en las revistas Nature y Science -20%-, artículos en el Science Citation Index o en Social Science Citation Index -20%-, y productividad científica por profesor -10%-).

Los otros dos indicadores se refieren a premios internacionales (Nobeles o medallas equivalentes) de los antiguos alumnos (10%) o de su profesorado (20%).

En segundo lugar, a diferencia de los otros grandes rankings (QS y THE), Shangai emplea los datos bibliométricos de Web Of Science (Clarivate Analytics), en lugar de Scopus (Elsevier). Aunque ambas bases de datos son cada vez más similares, cada una tiene distintas sensibilidades a la hora de recoger las distintas materias universitarias.

En tercer lugar, el ranking no evalúa la reputación de las universidades (como hacen QS o THE), a través de encuestas masivas a académicos o empleadores.

En cuarto lugar, el ranking no evalúa –o lo hace de forma limitada– la docencia y el impacto social, dos elementos de gran importancia para la misión universitaria.

En el caso de la docencia, la evaluación de la calidad docente se mide por los premios de sus profesores. Sin embargo, la relación entre premios y calidad docente no me parece tan clara: estos premios suelen reconocer un recorrido investigador o innovador, más que docente.

En el caso del impacto social, a diferencia de otros rankings que emplean datos como los ingresos de investigación, no se mide de ningún modo las patentes o los spin-offs generados en la universidad.

En quinto lugar, los indicadores de los premios de los profesores o los alumni suponen un problema para ofrecer resultados homogéneos.

A pesar de que estos indicadores suman un 30% del total, la mayoría de las universidades no obtiene ninguna puntuación: en 2021, un 15’5% lo hizo en el indicador del profesorado premiados y en una proporción similar (24% en 2021) de ellas cuentan con antiguos alumnos con premios internacionales.

Sólo un 11,8% en 2021 consiguió puntuar en estos dos indicadores del ranking.

Dos grupos de universidades

Esta situación genera dos grupos en el ranking: las universidades tops, entre los primeros 150 puestos, que en un 80% consiguen puntuar en ambos indicadores; y los demás: más allá del puesto 300, sólo 4 universidades consiguen puntuar en ellos.

En España, por ejemplo, de las 39 universidades españolas que consiguen clasificarse, ninguna obtiene puntuación en el indicador de profesores con premios y sólo una, la Universidad Complutense, lo hace en el de antiguos alumnos premiados.

Según Shangai Ranking Consultancy, más de 2.000 universidades son analizadas cada año en el ranking, de las que sólo 1.000 consiguen llegar al ranking. Por tanto, salir en el ranking, teniendo en cuenta su metodología, acaba siendo el éxito para muchas universidades.

Si comparamos los datos que se publican en su web, el país que sigue mandando en el ranking es Estados Unidos, con 200 universidades, seguida de China, con 157 y Reino Unido, con 65.

Por continentes, Europa –contando con Reino Unido-, predomina en el ranking, con más de 353 universidades en 2021. De cerca le sigue Asia, con 327 universidades, América, con 260 en total, Oceanía, con 42 y África con 18.

Categorías
Gestión universitaria

Rankings: por qué te deben interesar (aunque no te gusten)

Algunas claves para entender los rankings universitarios

Los rankings se han convertido en uno de los fenómenos relacionados con la universidad que más atención han atraído en el siglo XXI, especialmente en el ámbito de la reflexión sobre la reputación y la comunicación. A pesar de la frecuente discusión sobre su metodología y resultados, nadie niega su relevancia. Al fin y al cabo, en muchas ocasiones importa más lo que opinen los rankings de ti (dónde te sitúen) que lo que tú pienses de ellos.

Nota del gráfico: Rankings existentes según IREG. Se considera a un ranking activo en un año cuando se ha publicado en ese año o en años posteriores.

El informe más reciente del International Ranking Expert Group (IREG) lista 46 rankings en todo el mundo, de los que 15 son globales. Según estos datos, en los últimos veinte años el número de rankings activos se ha multiplicado por 5, pasando de los 9 en 2004 a 45 en 2019.  

A mi juicio, el auge y diversificación de los rankings en los últimos años está estrechamente vinculado con tres factores: la globalización del sistema universitario, la emergencia del ecosistema digital y el creciente valor del tratamiento y la gestión masiva de datos. 

Expliquemos brevemente cada uno de estos factores.

Movilidad internacional

La movilidad internacional de estudiantes ha explotado durante el siglo XXI. Según la UNESCO, el número de estudiantes internacionales se ha duplicado desde 2000 y, con ello, la necesidad de información sobre dónde estudiar fuera de casa. Un futuro alumno que quiere comenzar a estudiar, o sólo realizar una estancia en el extranjero, demanda información lo más objetiva posible sobre sus opciones al otro lado del mundo. 

Para responder a esta demanda, se ofrecieron los rankings. Los primeros (como THE o US News) nacen vinculados con publicaciones periódicas del sector de la información, que se guían por las necesidades e intereses de sus audiencias. Los públicos ayudaron a configurar modelos de excelencia de los que surgieron los rankings. Así, para muchas universidades, aparecer en el ranking y poder identificarse con estos modelos de excelencia ha sido un factor valioso para el fomento de una reputación positiva.

Auge del entorno digital

El segundo elemento clave es  la emergencia del mundo digital. La penetración de Internet ha aumentado por ocho desde el 2000, desde un 6% a un 48% en 2017 (Banco Mundial). Aunque en su momento se publicasen en papel, los rankings han fortalecido su influencia gracias a esta nueva sociedad digital. 

El profesor de la Northwestern University, John Lavine, explica que tres leyes determinan el ecosistema digital: cada vez intervienen más actores, con  más contenido, pero el usuario sigue teniendo el mismo tiempo para consumirlo. En este entorno, se precisan actores que filtren, condensen y simplifiquen la información disponible y que den contraste al mensaje interesante sobre el ruido de fondo. 

Los usuarios están muy acostumbrados a estos “sistemas de evaluación reputacional”, como los denomina la filósofa Gloria Origgi, y confían de forma habitual en ellos: desde las recomendaciones y comentarios de Amazon, las estrellas de AirBnB o las valoraciones de Uber.

Los rankings, sin ser perfectos, realizan el papel de “ordenar nuestra ignorancia”, como dice Foreman hablando del Big Data, pero en el ámbito universitario: ofrecen información lo más objetiva posible para la toma de decisión sobre dónde estudiar. 

A las universidades, que también encuentran dificultades para diferenciarse en un entorno ruidoso, los rankings les resultan muy útiles para posicionarse en la cabeza de estudiantes muy lejanos, a los que no se hubiera podido llegar sin asumir altos costes.

Gestión del big data

Por último, el tercer factor es la gestión a través de datos

Los rankings acumulan millones de datos de producción científica, encuestas de reputación, información sobre profesores, alumnos, empleabilidad, etc. En un entorno donde el uso masivo de datos se ha convertido en respaldo para la toma de decisiones, los rankings ofrecen información contextual de mucho interés para las universidades, que se añade a la que obtienen de la gestión de la información interna. 

Esta función no se queda sólo en la posición en el ranking: hay mucho valor en las cifras de los indicadores, las posibilidades del benchmarking, la comparación entre los datos internos y los obtenidos en estas clasificaciones, etc. Las posibilidades son enormes. Las universidades pueden aprovechar este análisis comparado para mejorar el rendimiento de sus organizaciones.

Algunas debilidades

Sin embargo, el crecimiento de los rankings ha venido de la mano de varias debilidades

Primero, la proliferación de los rankings, para muchos excesiva, ha generado cierta desvalorización de los resultados: como se suele oír de forma frecuente en boca de los académicos, parece que todas las universidades acaban ganando en alguno de los rankings disponibles. 

No tengo del todo claro que sea responsabilidad exclusiva de los rankings. Pero sí es cierto que los rankings podrían haber sido más diligentes al explicar los resultados y sus limitaciones, así como ser mucho más transparentes en la explicación de las metodologías, publicando de forma abierta todos los indicadores empleados. 

Segundo, se ha puesto en duda la imparcialidad y objetividad de los rankings, además de por sus metodologías, por sus políticas comerciales, que ofrecen servicios -a veces de forma agresiva- para la mejora universitaria. 

Al respecto, los rankings podrían delimitar de forma más clara los servicios de asesoría -realizados a partir de los mismos datos que las universidades entregan- y que se ofrecen, previo pago, a las universidades. Con estas dos medidas podrían ahorrarse muchas de las sospechas y críticas de la comunidad universitaria.

En síntesis

En cualquier caso, los rankings seguirán siendo necesarios siempre que exista demanda pública de información sobre el sistema universitario global y no exista una oferta mejor. 

Como veremos en un post posterior, la respuesta a esta demanda, en función de los tres pilares que han fomentado el crecimiento de los rankings (globalización, demanda de orden en el entorno digital y gestión de datos), determinará su futuro y su evolución.

Categorías
Reputación

“Las universidades están cansadas de los ránkings”

El País entrevistó en 2017 a Louise Simpson, la máxima responsable de The World 100 Reputation Network, asociación internacional que aglutina a directivos de estrategia, comunicación, marketing e internacionalización de instituciones académicas de 19 países.

Ha liderado investigaciones y estudios de consultoría de universidades y cuerpos de gobierno de Gran Bretaña, Japón y Europa. Ha concluido una tesis (MPhil) sobre cómo se mide la reputación y el impacto de las clasificaciones en la reputación de la enseñanza superior realizada en el Manchester Business School.

Antes de dedicarse a la consultoría, Louise fue director de comunicaciones de la Universidad de Cambridge y trabajó allí durante 10 años, en el campo de asesoramiento sobre relaciones públicas y asuntos públicos de la universidad y los colegios.

https://elpais.com/economia/2017/04/11/actualidad/1491908771_181493.html

Categorías
Reputación

¿Y qué hacemos con los rankings?

Los rankings universitarios desempeñan un papel vital en la conversación sobre reputación y calidad universitaria, desde el nacimiento del U.S News & World Report en 1983.

En principio, cualquier persona puede acudir a cualquier ranking para tener estimaciones de la reputación de una universidad. Sin embargo, la forma tan simplificada en la que son accesibles así como la forma en la que se estandarizan las evaluaciones de calidad a una única cifra, convierten esta herramienta en un arma de doble filo.

Víctor Pérez-Díaz y Carlos Rodríguez[1] consideran, en el Position Paper del Building Universities Reputation 2015, que los rankings permiten otorgar luces a un proceso que en muchos países suele llevarse a oscuras.

Pero cada ranking no es igual. Por ejemplo, si nos interesa medir la reputación de investigadores y profesores, consultaremos el Times Higher Education que desde el 2010 evalúa a otras universidades tanto en su función investigadora como de enseñanza; en cambio, si somos futuros alumnos, el U.S News & World Report es un instrumento clave para elegir la universidad que nos formará como profesionales.

El Times Higher Education sirve para medir la reputación de investigadores y profesores; el U.S. World & Worls Report, para elegir la universidad

 

Pero, atención, los rankings a pesar de ser fuente y medida de reputación reciben tres críticas principales:

  1. El exceso de indicadores de input y outputs que no son relativos a  factores clave de la reputación como la actividad de los antiguos alumnos o el entorno de la universidad.
  2. La simplificación de la reputación universitaria a una única variable: la puntuación en el ranking.
  3. La falta de exactitud en las ponderaciones para construir el indicador resumen. Es decir, a veces se otorga más peso a la investigación que a la enseñanza, otras el juicio de los profesores o directivos importa más que los indicadores objetivos, entre otros.

Dos efectos perjudiciales

Asimismo, Pérez-Díaz y Rodríguez hacen mención a dos efectos no deseados sobre el uso de los rankings que debemos tomar en cuenta. En primer lugar, la cristalización de la reputación, que responde a cómo para los encuestados en un ranking puede pesar en su juicio los primeros rankings publicados, por lo que, aunque los datos objetivos de la universidad hayan cambiado, las opiniones quedan ancladas a estimaciones de reputación anteriores.

El segundo efecto está relacionado con la posibilidad de estimular formas de competición entre universidades que no son deseables. Por ejemplo, se puede desvirtuar el proceso de selección de estudiantes, despistando a las universidades públicas de su meta tradicional de proporcionar acceso a la universidad a todos los estudiantes cualificados. También pueden contribuir a una carrera por la reputación con efectos tales como la inflación de los costes, la creciente desigualdad de ingresos entre las distintas instituciones y una mayor estratificación de las universidades según la composición social de su alumnado. Otros rankings, con distintos indicadores y ponderaciones, formarían según los autores, una forma de competición más saludable.

————————————————————————————————————————————————————————————————–

NOTAS

[1] Analistas Socio-Políticos y autores en el 2015 del Position Paper sobre Reputación de las Universidades para el primer congreso internacional Building Universities Reputation

————————————————————————————————————————————————————————————————–