En el último número de «El Profesional de la Información (EPI)» (Vol. 21, N.4, julio-agosto 2012), en concreto en la sección de «Indicadores», aparece un trabajo, firmado por Emilio Delgado-López-Cózar y Álvaro Cabezas-Clavijo, miembros del Grupo de Investigación EC3 (GIEC3), que agradecemos enormemente los que estamos interesados en el ámbito de la evaluación científica. Se trata de una revisión crítica de Google Scholar Metrics (GSM), último producto bibliométrico de Google.
Delgado-López-Cózar, Emilio; Cabezas-Clavijo, Álvaro. “Google Scholar Metrics: an unreliable tool for assessing scientific journals”. El profesional de la información, 2012, July-August, v. 21, n. 4, pp. 419-427.
http://dx.doi.org/10.3145/epi.2012.jul.15
Esta revisión de gran interés, es una versión resumida de diversos working papers, que los miembros del GIEC3 nos han ido ofreciendo de manera abierta, y a modo de avanzadilla, a través de las listas de distribución IWETEL e INCYT y de su blog ec3noticias:
- Delgado López-Cózar, Emilio; Robinson-García, Nicolás; Torres-Salinas, Daniel (2012). Manipular Google Scholar Citations y Google Scholar Metrics: simple, sencillo y tentador. EC3 Working Papers 6
- Delgado López-Cózar, E. (2012). Los repositorios en Google Scholar Metrics o qué hace un tipo documental como tú en un lugar como ese. EC3 Working Papers, 4
- Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2012). ¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, 3
- Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2012). Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son? EC3 Working Papers, 2
- Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2012). Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool? EC3 Working Papers 1
Los autores acometen la evaluación de esta nueva herramienta con la intención de resaltar tanto sus potencialidades como sus debilidades, aunque son estas últimas las que resultan llamativas, de ahí el título del trabajo.
La aparición de GSM parece responder a una evolución lógica de Google en terrenos bibliométricos. Tras Google Scholar vino Google Scholar Citation y el último paso ha sido la aparición, en abril de 2012, de este nuevo producto mediante el cual Google sigue haciendo su particular camino en el ámbito la evaluación científica, en este caso de revistas científicas.
GSM ofrece distintas informaciones relativas a un amplio conjunto de revistas científicas y otras fuentes documentales:
- el índice h de las mismas,
- la mediana del nº de citas obtenida por los artículos que contribuyen al índice h y
- este listado de artículos completo.
“Una revista con un índice h de 12 (por ejemplo, El Profesional de la Información) significa que ha publicado 12 trabajos con al menos 12 citas cada uno de ellos”
Resulta llamativo que GSM nazca como un sistema de información estático, mostrando sólo una instantánea de los índices h de la revistas a la fecha de 1 de abril de 2012. Se entiende que, en caso de seguir adelante el desarrollo de esta herramienta, los listados se vayan actualizando con el recuento de las nuevas citas que vayan recibiendo las distintas revistas. Estoy seguro que, de seguir vivo y en desarrollo, GSM automatizará estas operaciones de manera que los listados estén siempre actualizados de cara a su consulta.
Cinco son los aspectos que centran el análisis y evaluación de esta nueva herramienta de Google:
- Cobertura: el GSM hace gala de mezclar “peras con manzanas”. Así, en sus listados de fuentes documentales conviven como si tal cosa revistas científicas con repositorios, bases de datos, actas de congresos y working papers.
- Indicadores bibliométricos: se ha optado, a pesar de sus limitaciones, por el índice h y la mediana de citas, en lugar de haber desarrollado un indicador propio que podría haberse basado en el algoritmo usado en su famoso PageRank.
- Ventana de citación: calcular el índice h en base a 5 años resulta escaso en el caso de revistas de Ciencias Sociales y Humanidades.
- Control bibliográfico: la normalización de autores y títulos de revistas resalta de manera negativa. Por otro lado también llama la atención el descuidado aspecto formal del producto y la incorrecta identificación de la referencia bibliográfica.Muchos de los errores que se exponen proceden de la realización de tareas automáticas. En el campo de la bibliometría, el trabajo de hormigas, en relación con la normalización, es pieza clave, y aquí juega un papel fundamental el humano, en concreto, los profesionales de la documentación.
- Consulta y visualización de los datos: las posibilidades de consulta que ofrece GSM son escasas; sólo podemos visualizar el listado de las 100 revistas con mayor índice h según idioma o consultar éstas mediante la búsqueda por palabra clave en el título. Esta limitación en la posibilidad de realizar consultas nos deja sin alternativa alguna para poder comparar el rendimiento de las revistas de una determinada área de conocimiento; lo que supone una importante carencia en la herramienta.
Frente a las debilidades comentadas, cabe resaltar, como potencialidad de la herramienta, casi únicamente, su carácter gratuito y libre.
Para finalizar, y en la misma línea en la que concluyen los autores, a mi parecer Google se ha precipitado a la hora de lanzar su GSM. Los de Mountain View nos tienen acostumbrados a desarrollar productos en distintos ámbitos, aunque algunos, como en este caso, con menor acierto que otros.
No sé si han contado con la ayuda o la supervisión de asesores especialistas en bibliometría y evaluación científica, pero han lanzado un producto muy verde y cargado de errores que hace un flaco favor a la comunidad investigadora. Ahora solo queda que abran sus oídos, recojan críticas, mejoren la herramienta (de hecho algunos errores ya han sido corregidos por Google tras la parición de la primera nota del GIEC3) y la interconecten, en la medida de lo posible, con sus otros productos del mismo ámbito; mientras seguirá estando en tela de juicio.
No quería cerrar este post sin agradecer al GIEC3 la generosidad que viene demostrando en cuanto a su filosofía de compartir conocimiento y ayudar al desarrollo de herramientas sólidas y útiles para la evaluación científica.
