¿Qué miden los que miden producción científica?

Compartir

bibliotecas_de_buenos_aires_7946143894

Ricardo Villegas Tovar

Cuando volteamos a ver qué valoran las principales empresas que miden el desempeño de las universidades encontramos que independientemente de considerar diferentes variables siempre coinciden en medir la producción científica y su impacto. Para ello contabilizan el número de artículos publicados e indizados en las grandes bases de datos, en específico lo incluido dentro del sistema SCOPUS de la empresa Elsevier. A la par miden la cantidad de citas –sin autocitas– que esos artículos han recibido, todo esto en lapsos definidos.

Ejemplo de esta tipo de evaluaciones la tenemos con el ranking inglés Times Higher Education (THE) que para considerar en su proceso de medición pide que en lapso de los últimos 5 años la universidad en cuestión tenga indizados al menos 1000 documentos dentro del sistema SCOPUS. La BUAP tiene 3000 documentos indizados en esa base de datos entre 2011 y 2015, de los cuales 2,250 son artículos, es decir, cubrimos ampliamente la cuota que nos permitió junto con la medición de otras variables obtener el lugar 42 entre las universidades latinoamericanas evaluadas en la edición de julio de 2016.

Para el caso de la empresa Quacquarelli Symonds, mejor conocida como QS, en su reporte de evaluación sobre las universidades latinoamericanas del mes de septiembre de 2016 ubica a la BUAP en el lugar 72. Ahora bien, ¿es lo mismo publicar un artículo en el área de medicina que en historia o matemáticas? la respuesta es simple: ¡no! Los procesos de producción científica son radicalmente distintos, especialmente por las metodologías que aplican y la utilización de recursos humanos y materiales que se requieren. Ejemplo de lo aquí expuesto se tiene en lo argumentando en la pasada edición del evento “Entre pares” organizado por el Consejo Nacional de Ciencia y Tecnología en el mes de septiembre en la Universidad Autónoma de San Luis Potosí. Es esa ocasión se identificó que las áreas de física de altas energías por su naturaleza de estudio provocan la conformación de grandes grupos de investigadores para generar un solo artículo científico. Este hecho conocido como artículos multiautoreados genera una consecuencia lógica, que sean muy citados. Bernardo Amador, representante de QS para Latinoamérica en su visita a la BUAP en la 2da semana de octubre al respecto nos comenta, “Los artículos multiautoreados son como los festivales de los jardines de niños. Entre más invitados lleven los niños, mayor difusión tendrá el evento, es decir, entre más autores tenga un artículo, más citas tendrá”.

Por este tipo de situaciones es que QS ha desarrollado una nueva forma para medir la producción científica de una universidad y su impacto. Parte de medir exclusivamente aquellos artículos de revista indizados en SCOPUS, excluyendo de la contabilización a las conferencias, los reviews y otro tipo de documentos que no conduzcan al reporte de hallazgos nuevos en las ciencias. En segundo lugar excluye del conteo a todos aquellos artículos que contengan como autor corporativo a más de 10 instituciones. Con este antecedente aplica una fórmula para identificar el impacto de esos artículos denominada Normalized total impact factor. Ésta da pesos específicos a las áreas del conocimiento a partir de ubicar que típicamente las Ciencias de la Vida, incluída la Medicina, se llevan cerca del 50% de las citas generadas en el mundo, mientras que las Artes y Humanidades se quedan con menos del 1%. Con la aplicación de la fórmula se establecen contrapesos que permiten en la valoración encontrar puntos de comparación real por encima de lo que los datos numéricos sin interpretación pudieran dar.

Como vemos el debate entre las rankeadoras se enfoca en la continuidad de la producción indizada y su impacto por medio de la citación, pero por otra parte los jueces que asignan el premio nobel nos dan fuertes sorpresas. Es el caso de uno de los galardonados con el premio Nobel de Física de este año, el Dr. David Thouless quien su último trabajo indizado en SCOPUS se publicó en 2013 y el previo en 2010, habiendo tenido su mejor época de producción científica a finales de los años 70´s y principios de los 80´s. En otras palabras, en el caso del Nobel no se mide continuidad de producción e impacto medido en citas, sino importancia de los hallazgos científicos a lo largo de la vida.

Be first to comment