Como localizar el impacto relativo de un articulo científico (medido como citas)

En primer lugar, me gustaría aclarar que el impacto de un articulo mucho más que medir sus citas en un determinado proveedor de servicios de indexación de revistas científicas. Lo que pasa es que contar las citas es sencillo (si te conformas con los datos que te proporciona Clarivat/WOS, Scopus o Google Scholar), lo que no quiere decir que sea relevante, ni sea «verdadero» impacto. Es la versión de impacto más sencilla y, a veces, la única que podemos calcular de manera práctica.

Con esto en mente, la pregunta que intentare resolver en esta entrada es ¿cómo saber si un artículo científico publicado es más citado o menos que los artículos similares?

De nuevo tengo que hacer una suposición que no es menos drástica y no genera menos sesgo que la de asumir que impacto = citas. Se trata de asumir que un artículo es similar si:

  1. Se ha publicado el mismo año. Aunque no es lo mismo que se publique en enero, que en diciembre, o que haya estado años en «advanced online» sin fecha definitiva de publicación… Sobre todo cuando la fecha de publicación es reciente, porque aún teniendo el mismo año de publicación un articulo puede estar expuesto al circuito de citas el doble, triple o incluso cuatro veces más de tiempo que otro (de modo que muy similares no serían)
  2. Son del mismo «tema» o «área de conocimiento». La idea de fondo es que hay áreas o comunidades científicas donde los circuitos de maduración de citas (el tiempo habitual que se tarda en ser citado, el numero habitual de citas recibidas y el tiempo que tardas en pasar a ser difícilmente citable por «antiguo») es muy diferente. El problema es que tanto Clarivate/WOS como Scopus tienen un método un tanto cuestionable (no solo por su poca transparencia, sino por sus patentes fallos de clasificación) de decidir en qué área colocar un articulo y, por lo tanto, establecer el conjunto de artículos similares con el que comparar

Por último, debemos asumir que disponemos de acceso a plataformas de pago que hacen el trabajo por nosotros (no conozco ningún servicio gratuito que permita realizar lo que voy a comentar en esta entrada). O pagas una suscripción a Clarivate/WOS o a Scopus, o la paga la institución para la que trabajas. Pero, al menos con mis conocimientos, esto no lo puedes hacer sin rascarte el bolsillo o que alguien se lo haya rascado por ti (o hayas pirateado o usado materiales al margen de las condiciones de uso exclusivo que permiten Clarivate/WOS o Scopus).

En este contexto, y solo en este contexto, es posible dar algunas respuestas a la pregunta.

Advertencia: el procedimiento, enlaces y pantallazos se corresponden a cómo resolver esto en octubre de 2021. Como las plataformas cambian con relativa frecuencia, es posible que las rutas o ubicación de las opciones sea completamente diferente el día que vayas a intentar hacerlo tu.

Primera Opción: las herramientas de indices de impacto que proporciona la suscripción de recursos científicos de FECYT

Accedes a la página principal (si no tienes suscripción, no podrás pasar de ese paso): https://www.recursoscientificos.fecyt.es/

y eliges la opción «indices de impacto» en los botones negros grandotes

y en la nueva página eliges el sub-menú «Tablas de citas mundiales» (botón en gris en la parte superior)

En el momento de redactar la entrada si buscas con google «tablas de citas mundiales» los primeros resultados de la búsqueda apuntan directamente a ellas.

Estas tablas se actualizan una vez al año (sobre noviembre o diciembre) y sólo están disponibles hasta 3 años antes del momento en el que buscas (pues se considera que con menos tiempo, la posibilidad de recibir citas es muy escaso y las tablas no tendrían mucha utilidad, ni fiabilidad). En cualquier caso, si un articulo publicado hace menos de 3 años ya mejora los indicadores de los que aparecían hace 3 años, es muy buena señal de que tiene un «impacto en citas» que se podría considerar excelente (o al menos superior a la media de articulo que llevan mucho mas tiempo en el «expositor»).

Ten en cuenta de que hay tablas para WOS y tablas para Scopus. Porque cada una de ellas se crea con una fuente de datos diferente y con una metodología de agrupación por area temática muy, muy, pero que muy diferente (no te comparas con el mismo conjunto de artículos en WOS que en SCOPUS). Podréis preguntarme «si me salen datos muy diferentes, ¿cual sería el más adecuado para usar en «mi área»». La respuesta sencilla, es: si miras las citas en WOS usa la tabla de WOS y si las miras en Scopus, pues la de Scopus. Pero si lo que te pasa es que cuando comparas WOS te sale muy bien y cuando comparas Scopus te sale muy mal (que tienes menos citas que el promedio), o al revés. Entonces no me atrevo a dar una respuesta más allá del depende. Lo que si es cierto (eso es un dato objetivo) que, la cobertura de revistas del área de ciencias sociales y en especial en los campos relacionados con la administración de empresa (management), a fecha de 2021, es mucho mayor y mejor en Scopus que en WOS. Además, en scopus hay una división mucho más específica por sub-áreas dentro del campo de administración de empresas (Marin-Garcia y Alfalla-Luque, 2018). Pero «hasta aquí puedo leer». Que haya más cobertura de revistas o más clasificaciones no quiere decir que las agrupe mejor (quizás las agrupe igual de mal que WOS). Resolver esto daría para un artículo científico (animo a quien quiera a que lo haga y si no sabéis a qué revisa mandarlo, en JIEM o en WPOM estaríamos encantados de poder evaluarlo).

Además en cada una de las dos situaciones anteriores tienes dos tablas. En la primera tienes los «descriptivos» de las citas promedio recibidas por los artículos científicos publicados en determinados años, en cada área. En la segunda, para calcular el promedio se han incorporado también «conference proceedings«. Yo, personalmente, creo que solo tiene sentido la primera… pero si alguien se ha tomado la molestia de hacer dos tablas por algo será (como decía «La Bombi» en los casposos años del 1-2-3).

Esta es la información que proporcionan las tablas de citas. Tangase en cuenta que Dirección de Operaciones (Operations Management) no existe como campo, de modo que supongo que hay que considerar los «miscellaneous de business» o business en general como área de comparación. Pero oye, igual a otras personas les parece mejor otra cosa

Vaya… quizás tendría que haber pedido permiso a Elsevier para publicar esta foto.. Bueno, cuando tenga tiempo me dedico a escribir un párrafo que resuma algo de la información y pixelo esta tabla
Si, WOS, con vosotros también lo haré… pero cuando tenga tiempo.

Segunda Opción: las métricas a nivel de articulo que proporcionan WOS o Scopus

Scopus lleva años (al menos desde 2018) publicando el «citation benchmarking» y el  «field-weighted citation impact» , que se definen y calculan como se muestra en la figura (si quieres más información: Learn more about Article metrics in Scopus).

Definición del F-W citation impact de Scopus
Citation benchmarking

Esta información aparece en la página del articulo (cuando pinchas sobre el título del artículo en los resultados de una búsqueda para que te muestre la información completa). Hace un tiempo era en la parte lateral derecha, ahora está en la parte inferior de la páginas después del resumen… dentro de un tiempo estará en otro sitio.

Junto con el  Field-Weighted citation impact (recordad, 1 es que está mas citado de lo esperado) se puede ver el Citation Benchmarking: percentil correspondiente al número de citas del articulo cuando se compara con todos los articulos de scopus publicados en la misma fecha. En la figura, 6 citas en 2016 significa estar en el percentil 59%, lo que puede considerarse un impacto en citas notable dentro de Scopus.

he resaltado en azul oscuro la zona donde se ve la información

WOS se ha incorporado recientemente (2020) a las métricas a nivel de articulo con su «beamplot«. En estos momentos para acceder a estas métricas debes entrar en la página «personal» de cada investigador (Author Profile). Es decir, que no ves esta métrica cuando entras en la información del artículo. Tienes que localizar primero al autor-a

y luego pinchas en el vínculo que hay en su nombre

tras pulsar el enlace a un autor-a, te lleva a su página de perfil

y en la página que se abre con el perfil del autor, te desplazas hacia abajo hasta que encuentres el «Author Impact Beamplot Summary) (insisto, ahora está en la parte de abajo de la página, tras todas las citas de lo publicado. Pero pueden colocarlo en cualquier otro sitio en el futuro). Para ver los detalles, pulsa el botón «View full beamplot»

Los datos que se presentan son los mejores percentiles de citas de cada articulo comparando con artículos similares (si está en varias categorías se muestra el mejor). Más información en http://webofscience.help.clarivate.com/en-us/Content/author-record.html#Web

(solo se incluyen artículos del tipo «article» o «review» data papers u otras contribuciones científicas son ignoradas, de momento, en el «beamplot».

Una forma más rápida puede ser velo desde la cuenta de Publons (si te has creado una cuenta de estas. Es un producto derivado de WOS que promocionaron mucho hace dos años)

Resolvamos un caso práctico

¿Qué posición respecto a impacto en citas tendría este artículo?
Garcia-Sabater, J. J., & Marin-Garcia, J. A. (2011). Can we still talk about continuous improvement? Rethinking enablers and inhibitors for successful implementation. International Journal of Technology Management, 55(1/2), 28-42.

(datos recogidos el 29 de septimbre de 2021)

Opción 1:
36 citas Scopus; 36 citas en WOS

El artículo es de 2011, y la temática es de dirección de operaciones, de modo que voy a la tabla de citas de Scopus en la categoría de miscelánea dentro de Business y management, el promedio de citas para artículos de ese año son 13,8. Como el articulo tiene 36 es citado más del doble que el promedio. Si voy a la de WOS en Business es 18.16 y en management es 20,6, de nuevo 30 citas en WOS es casi el doble que el promedio de artículos de ese año en la categoría.

Opción 2:

WOS Beamplot: Busco el perfil de uno de los autores (en este caso el segundo autor), Me desplazo hasta la parte de la página donde esté el gráfico «beamplot» y pulsa el botón «view full beamplot»

y si paso el ratón por encima de uno de los artículos puedo ver los detalles. En este caso voy pasando por todos los de 2011 hasta encontrar el que me interesa. 36 citas en WOS para éste lo sitúa en el percentil 90

Scopus FWCI: busco el artículo en Scopus. En la pagina de detalle abro el campo de «metrics» y las 36 citas para un articulo de 2011 indica un percentil 45% y el FWCI es de 0.26 (que está alejado de 1).

Puede llamar la atención la diferencia de resultados (sobre todo cuando se compara con la tabla de citas de Scopus, que es la misma fuente de datos). Pero no olvidemos que:

The FWCI is the ratio of the document’s citations to the average number of citations received by all similar documents over a three-year window

Seguramente el FWCI no es un buen indicador para articulos antiguos (que seguramente ya no se citan en los últimos tres años, que parece que es la ventana que consideran).

Referencias:

Resumen del proyecto CAHOS19 presentado en el DATATHOn 2021 de ciencia de datos

Resumen del proyecto CAHOS19 presentado en el DATATHOn 2021 de ciencia de datos.
Mas detalles del proyecto en: https://cahos19.blogs.upv.es/category/videos/
Marin-Garcia, J. A., Ruiz, A., Maheut, J., Garcia-Sabater, J. P. (2021). A data generator for COVID-19 patients’ care requirements inside hospitals: data paper. WPOM-Working Papers on Operations Management, 12 (in press). https://doi.org/10.4995/wpom.15332

¿Qué puedo compartir en un repositorio publico de mis investigaciones publicadas?

Sin duda, los servicios de biblioteca de tu universidad te pueden asesorar con todo detalle sobre este punto.

Pero si quieres una respuesta rápida, aprovecho que me han estado preguntando algunas personas conocidas y pego en público lo que les he contado en privado.

Como cada revista elige un sistema mas o menos restrictivo, y no siempre es fácil localizarlo en sus páginas web, creo que la opción más rápida de consulta es ir a que puedes consultar en https://v2.sherpa.ac.uk/romeo/

Desde el punto de vista práctico hay tres tipos de documentos (realmente hay más pero para simplificar, lo dejo en tres) sobre los que pueden ejercer copyright -independientemente de que los hayas maquetado tu 😉 –
a) Published version (versión editorial): el documento tal como se publica, maquetado con el formato, logos etc de la revista. por extensión también incluye galeradas previas o lo que se publica definitivo
b) Accepted version: un documento (tanto si el aspecto formal es una plantilla de la revista como si no hay logos ni maquetación tipo lo que saldrá publicado) que ha pasado el proceso de revisión y hay sido «mejorado» gracias al «trabajo» de la revista.
c) Submitted version: lo que tu mandas a la revista en el primer envío y que es de los autores-as, sin ninguna aportación de nadie más (ojo, quitando la plantilla con logos y estilo de la revista. Es decir, copiado el texto a un fichero que no te haya dado la revista).

La «submitted version» es siempre distribuible, ninguna revista puede exigirte nada de esto (no tienen el Copyright cedido de eso jamás). Ojo, que muchas veces hacemos de maquetadores y lo que mandamos en primera instancia es sobre una plantilla de la revista… si es así pasa a ser un híbrido que se regiría por los permisos de «accepted version».

La mayoría de revisas te dejan difundir en open el «accepted version» -sin logos ni nada de eso-  pero tras un periodo de embargo (que depende de cada revista).
Resumiendo, para cumplir con financiación de EU, si no quieres calentarte la cabeza  comparte b) (pero sin logos ni maquetacion parecida a la revista). Siempre que sea en un repositorio no comercial no creo que nadie vaya a comprobar si era la de primer envio o la que modificaste tras revisiones ni te vayan a penaliza por eso. Si quieres ser muy purista, comparte c) (si eres capaz de localizar ese fichero tras las 4 o 5 versiones modificadas que habrás tenido que hacer..). En el fondo yo opto siempre por b) porque me parece un absurdo total todo este proceso: si lo has mandado a una revista te lo han rechazado tras revisión y has vuelto a escribirlo y lo has mandado a otra ¿que deberías poder subir en abierto? ¿la primera primerísima versión, que seguramente era inadecuada? ¿la que has mandado a la segunda revista gracias al trabajo de la primera -que no se como una rosca de atribuciones-? En fin, que yo solo acepto que la revista está reteniendo derechos por su imagen de marca (published version). Todo lo demás es trabajo científico hecho por personas que dedican su tiempo para hacer crecer la ciencia. Punto.

Oposición a cátedra, un proyecto ilusionante

Esta semana he empezado a preparar la documentación para una futura oposición a Cátedra de Organización de Empresas. Aun no hay fechas, pero tengo bastante trabajo por delante.

He decidido aprovechar este evento para hacer un ejercicio de reflexión que llevo madurando desde hace tiempo, pero que nunca había sido urgente concretarlo. Por lo tanto, no voy a preparar el «papeleo» de la oposición. Lo que voy a hacer es un mapa estratégico (Bryson et al, 2014) de mi papel como funcionario al servicio de la sociedad y, a partir de eso, desplegar un proyecto docente e investigador planteado con sentido práctico y aplicable.

Continuando la linea que inicié en anterior oposición (hace ahora 20 años), voy a distanciarme del formato de los proyectos que se presentan habitualmente. Voy a aplicar el mismo enfoque con el que abordo la elaboración de solicitudes para proyectos de investigación. Esos proyectos en los que invierto entre 200 y 300 horas en elaborarlos y luego nunca consigo financiación pública. Sin embargo, mi forma de plantearlos me permite luego desplegar de manera muy fácil la investigación (que acabo financiándome yo mismo, ya que nadie más cree en su utilidad). Al menos así, no desperdicio las horas de trabajo invertidas en la creación del documento.

No me atrae hacer proyectos de una forma que no les pueda ver una utilidad clara para mi. Me resisto a invertir una considerable cantidad de horas en generar un documento cuyo destino sea ir a la papelera tras la oposición. Quiero que su escritura me resulte interesante y apasionante. En mi caso, eso solo podrá lograrse si me ayuda a cuestionarme aspectos de mi profesión, me obliga a reflexionar críticamente, me permite descubrir cosas y que me catapulta a actuar enfocado en una dirección relevante.

De momento,  he empezado con la lectura de estos libros:

  • Bryson, J. M., Ackermann, F., & Eden, C. (2014). Visual strategy. Strategy mapping for public and nonprofit organizations. San Francisco: Jossey-Bass
  • Ramio, C. (2014). Manua para los atribulados profesores universitarios. Madrid: CATARATA
  • Evans, L. (2019). Catedráticos de universidad. De lideres académcios a académicos que lideran

Y he elaborado un primer borrador (aun en construcción) de mapa estratégico:

Borrador mapa estratégico 20210328

El próximo paso es integrar mis anotaciones de de Evans (2019) y Ramio (2014)

El público objetivo de la divulgación científica debería ser más amplio de lo que habitualmente pensamos

Mientras leía este articulo pensaba que acaban de identificar al publico objetivo de los manipuladores, populistas y anti-ciencia. El reto es como se puede trabajar con esas poblaciones desde la  Práctica Basada en Evidencia (evidence-based) para contrarrestar las campañas que están recibiendo y seguirán recibiendo desde otras fuentes.
Howley, P., Waqas, M., Moro, M., Delaney, L., & Heron, T. (2020). It’s Not All about the Economy Stupid! Immigration and Subjective Well-Being in England. Work, Employment and Society, 34(5), 919–936. https://doi.org/10.1177/0950017019866643«
 
Un resumen de la evidencia:
«much of the research that has been done in the UK suggests that immigration has had little, if any, negative impact on the labour market outcomes of natives and this finding is mirrored in much of the research outside the UK (Card, 2005; Dustmann et al., 2013; Lemos and Portes, 2013).»
…..
«the available evidence suggests that migrants are typically younger and healthier, and in turn more likely to be at work (hence less likely to access social services) than the native UK population. In effect, it is likely that they not only pay their own way, but also partly subsidise the costs of public services for others (Dustmann et al., 2010). «
 
Los mensajes en las redes
«In public discourse, immigration is also often associated with increased burdens on taxpayers through rising health care costs and demand for social services. «
«The effect of this influx of new migrants on the UK economy has been the subject of intense political debate, and was one of the dominant issues in the recent UK referendum on EU membership.»
 
Y el efecto que producen (qué población es más vulnerable a los mensajes que a la evidencia)
 
«Considering the population as a whole (main effects), we find using both a fixed-effects (following the same individuals over time) and instrumental variable specification (quasi-natural experiment) that net inflows of foreign-born individuals into local areas are associated with negative (albeit relatively small) subjective well-being impacts for natives. These negative impacts are much more notable, however, for certain groups, such as relatively older individuals (60+), the unemployed, those with below-average household incomes and finally those without any formal educational qualifications.»
 
#evidencebased