Marin-Garcia, J. A., Martinez-Tomas, J., Juarez-Tarraga, A., & Santandreu-Mascarell, C. (2024). Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews. WPOM-Working Papers on Operations Management, 15, 172–208. https://doi.org/10.4995/wpom.22282
What is it about?
This protocol paper describes a new method to help researchers screen and classify scientific articles more efficiently during systematic literature reviews. The authors propose using AI language models called «sentence transformers» to automatically analyze article titles and abstracts, comparing them to the review’s topic of interest. This helps researchers prioritize which articles to review first, rather than working through them randomly. The method was tested with 14 different AI models on a small set of articles about workplace management practices.
As scientific publications grow exponentially, researchers struggle to efficiently review all relevant literature. This method could: * Save significant time in the screening process * Reduce researcher fatigue and potential bias * Make systematic reviews more accessible to researchers with limited resources * Help democratize access to advanced AI tools for academic research * Support evidence-based management practices by making literature reviews more feasible The approach is particularly valuable because it’s designed to complement rather than replace human judgment, and can be implemented using free, accessible tools.
Perspectives
“
This protocol represents an innovative bridge between cutting-edge AI technology and traditional academic research methods. The authors’ commitment to making the tool freely available and easy to use for researchers worldwide, regardless of technical expertise or resources, is particularly noteworthy. The pilot results suggest promising potential, though more testing is needed to validate the approach at larger scales.
This page is a summary of: Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews, WPOM – Working Papers on Operations Management, December 2024, Universitat Politecnica de Valencia, DOI: 10.4995/wpom.22282.
Marin-Garcia, J. A. (2021). Three-stage publishing to support evidence-based management practice. WPOM-Working Papers on Operations Management, 12(2), 56–95. https://doi.org/10.4995/wpom.11755
What is it about?
This paper proposes a new model for publishing scientific research in business and management that aims to make studies more transparent and useful for practitioners. The model includes three key stages: 1) Publishing the research protocol/plan before starting, 2) Publishing the collected data, and 3) Publishing the final results and conclusions. This approach helps ensure research is well-planned, data is accessible for verification, and findings can be confidently applied in real-world management practice.
Currently, there’s a big gap between management research and practice – many research findings never get implemented by actual managers. This model helps bridge that gap by: * Making the research process more transparent and trustworthy * Ensuring data quality through peer review at each stage * Making it easier for practitioners to access and understand findings * Encouraging more systematic, well-planned studies * Supporting evidence-based management decisions The model could significantly improve how management research is conducted and shared, ultimately making it more valuable for both academics and practitioners.
Perspectives
“
This innovative proposal challenges traditional publishing approaches in management research. While similar models exist in medicine and other fields, this is one of the first attempts to systematically apply such rigorous standards to business research. This offers a practical solution to improve research quality and impact. The detailed guidelines and examples make this a valuable roadmap for researchers wanting to conduct more transparent, reproducible studies.
Los datos provienen de la engagement survey. La encuesta se pasa periódicamente y según la página web de Gallup, han recogido más de 2.7 millones de respuestas de personas que trabajan en más de 100.000 equipo en organizaciones más de 50 actividades económicas a lo largo de todo el mundo. La información que he encontrado sobre la “Gallup World Poll” (https://www.gallup.com/178667/gallup-world-poll-work.aspx) indica que el muestreo es aleatorio (por rutas estratificadas) entre personas mayores de 15 años que trabajan al menos ciertas horas para un empleador. Se realiza la entrevista de forma telefónica o cuestionario web autoadministrado en los países desarrollados y de manera presencial en los países emergentes. A entrevista dura unos 30 minutos y les preguntan muchas cosas además del Q12. Encada país se recogen entre 500 y 1000 respuestas (menos en Rusia y China que se recogen 2000). En esta ruta puedes encontrar detalles sobre la administración en cada país (https://www.gallup.com/services/177797/country-data-set-details.aspx)
Su instrumento de medida es el Q12. Que mide la percepción de empleados/as respecto a 12 ítems (yo prefiero medir el engagement con otra herramienta, y creo que esta mide un mezcladillo de cosas, no solo engagement. Pero no me voy a poner quisquilloso con esto). El engagement podríamos definirlo de forma rápida como la implicación y el entusiasmo de una persona empleada acerca de su trabajo y de la organización para la que trabaja.
Gallup clasifica a las personas empleadas en tres categorías usando una formula propia (y no compartida) que pondera los diferentes elementos y la adapta a diferentes circunstancias (de modo que no se puede reproducir sumando las personas que responden “totalmente de acuerdo” y “de acuerdo” a cada ítem). Estas tres categorías son:
Implicadas (tienen sus necesidades básicas cubiertas, tienen oportunidad de contribuir y sentido de pertenencia en la organización y encuentran oportunidades de aprender y crecer). Estas personas están muy motivadas y muestran entusiasmo. Son motores de rendimiento e innovación y ayudan a que la organización mejore y se desarrolle.
No Implicadas (están psicológicamente desapegados de su trabajo y de su organización). Son personas que dedican tiempo, pero no energía o pasión a su trabajo
Activamente desconectados (estas personas no solo están descontentas, sino que están resentidos. Sienten que sus necesidades no están siendo satisfechas y expresan su infelicidad abiertamente). Es muy probable que estas personas destrocen cada día (consciente o inconscientemente) el trabajo y el esfuerzo que realizan sus compañeros/as más comprometidos
La evolución global del indicador de engagement muestra que en los años recientes se ha estancado (o reducido el número de personas implicadas, y, al mismo tiempo ha crecido el de activamente desconectadas).
Mi reflexión. Si llegamos a un punto de equilibrio donde hay la misma cantidad de personas desconectado como implicadas, la resultante es cero… unas destrozan y anulan el esfuerzo de las otras. De modo que, poco a poco, las implicadas dejarán de estarlo porque verán que su esfuerzo no vale para nada… Quizás la única solución es mimar todo lo que puedas a las personas implicadas que tengas y ver si hay algo que puedes hacer con las desconectadas, o para evitar que las no implicadas se vayan al lado oscuro en masa.
Insisto en que no estoy seguro de que el Q12 mida exactamente engagement, o que solo engagment. Pero mida lo que mida, Europa es el lugar de mundo con menos de eso en 2021 (según los datos de Gallup).
Y si nos fijamos en los datos de satisfacción (solo he encontrado los datos de USA), se aprecia una gran bajada en las personas “extremadamente satisfechas con la organización para la que trabajan” en los últimos años. No obstante, hay que tener en cuenta que la gráfica está truncada y el “salto” da la impresión de ser más grande de lo que sería en realidad si el eje de ordenadas empezara en cero.
¿Estará pasando algo parecido en Europa? ¿Y en España?
¿Crees que sería interesante que analizáramos estos datos de Europa y desglosado por actividad económica, tipo de ocupación y sector público vs privado?
Tras acabar de impartir la sesión en un curso reciente, sobre como publicar investigación sobre aprendizaje en la universidad, me he quedado con el «runrun» al ver 40.000 revistas en Scopus esta mañana, porque yo recordaba que serían unas 25.000
Numero total de revistas Scopus en diciembre de 2022
Por otra parte, en diciembre de 2022 hay 21.494 revistas en Core Colection (las del JCR) pero SOLO 13.840 reciben de momento Factor de Impacto (todas las demás reciben una métrica alternativa JCI). A partir de junio de 2023 (es decir el JCR de 2022) TODAS las revistas Core Collection de WOS recibirán factor de impacto. Es decir que un 50% de nuevas revistas entrarán a competir. Eso generará un vuelco en las clasificaciones. (porque automáticamente los cuartiles pasarán a tener un 50% más de revistas. Actualmente en Q1 hay unas 3500 revistas y pasará a haber 5.500 revistas. Algunas de las que entran, entrarán en Q2-Q3 (no van a entrar todas en la cola, ya os lo aseguro)
Dado que, para muchas personas investigadoras, el principal criterio para elegir revista sea el IF (que no creo que sea el mejor criterio para elegirla, pero entiendo que estéis obsesionados/as con eso), que sepáis se habrá varios años turbulentos. hasta que las comisiones sean capaces de:
a) enterarse de que esto va a pasar (os asombraréis, pero la mayoría ni lo sabe, aunque sea algo publico desde hace más de 8 meses)
b) pensar si eso obliga a modificar las horquillas de puntuación por cuartiles o la politica «anti-scopus» que claramente hay actualmente o si deciden dejarlas igual
Mas de la mitad actual de Q2 IF WOS pasará a ser Q1 en el JCR 2022. Todo el Q3 actual pasará a ser Q2
The negative sign in the path or weight means «negative or net suppression». This is a common issue when using several variables correlated in the same model. The tricky issue is that all variables are positively related wth SC-Ad (se latent variable correlations in 2nd order HOC model), but you can observe a negative value in the path. How can this be possible? It is well documented in mediation analysis (i.e., Ato & Vallejo, 2011 page 558), and it is explained by the relative «impact» of the predictors on the dependent variable. The predictor less correlated with the dependent variable is used to “compensate” the “inflate” paths for the other predictors. The negative or net suppression occurs when all the variables have a high positive correlation among themselves (rXY, rXZ, rZY > 0), but the regression coefficient of one of the variables is negative. Reciprocal or cooperative suppression occurs when two variables are negatively correlated with each other, but both are positively correlated with the outcome variable.
"If c' were opposite in sign to ab something that MacKinnon, Fairchild, and Fritz (2007) refer to as inconsistent mediation, then it could be the case that Step 1 would not be met, but there is still mediation. In this case the mediator acts like a suppressor variable. One example of inconsistent mediation is the relationship between stress and mood as mediated by coping. Presumably, the direct effect is negative: more stress, the worse the mood. However, likely the effect of stress on coping is positive (more stress, more coping) and the effect of coping on mood is positive (more coping, better mood), making the indirect effect positive. The total effect of stress on mood then is likely to be very small because the direct and indirect effects will tend to cancel each other out. Note too that with inconsistent mediation that typically the direct effect is even larger than the total effect."
Ato, M., & Vallejo, G. (2011). Los efectos de terceras variables en la investigación psicológica. Anales de Psicología, 27(2), 550-561. http://digitum.um.es/jspui/handle/10201/26561
Conger, A. J. (2016). A Revised Definition for Suppressor Variables: a Guide To Their Identification and Interpretation. Educational and Psychological Measurement, 34(1), 35-46. https://doi.org/10.1177/001316447403400105 Gaylord-Harden, N. K., Cunningham, J. A., Holmbeck, G. N., & Grant, K. E. (2010). Suppressor effects in coping research with African American adolescents from low-income communities. J Consult Clin Psychol, 78(6), 843-855. https://doi.org/10.1037/a0020063 Krus, D. J., & Wilkinson, S. M. (1986). Demonstration of properties of a suppressor variable. Behavior Research Methods, Instruments, & Computers, 18(1), 21-24. https://doi.org/10.3758/BF03200988 MacKinnon, D. P., Krull, J. L., & Lockwood, C. M. (2000). Equivalence of the Mediation, Confounding and Suppression Effect. Prevention Science, 1(4), 173-181. https://doi.org/10.1023/A:1026595011371
Igual me equivoco. Mi sensación es que los sexenios actuales, al menos en el campo donde está mi área de conocimiento, están mandando este mensaje:
«Si no eres capaz de publicar en una revista de muy alto nivel (no que realices una investigación de muy alto nivel) 5 veces en 6 años (o en una de altísimo nivel 3 veces en 6 años), deja de investigar y dedícate solo a impartir docencia»
En otra entrada de mi blog explico que, en mi caso, impartir 32 créditos (320 horas de clase presencial) implican 1500 horas de trabajo. Obviamente esta estimación es si lo haces bien: te documentas; actualizas contenidos, casos y actividades; haces evaluación formativa dando feedback y feedforward a los estudiantes (bien individual, bien colectivamente); etc. Con 32 créditos queda muy poco margen para hacer una investigación potente. O si lo prefieres, es probable que el esfuerzo de tu investigación drene tu docencia, que se resentirá drásticamente.
Esto me crea confusión y no tengo clara cuál es la finalidad o función de los sexenios en el panorama de la investigación en España. Siempre había creído que eran un complemento retributivo. Me basaba en las batallitas que me contaron los más viejos del lugar (aquellos que vivieron en primera persona la publicación del BOE que creaba los sexenios) y tras leer los BOE fundacionales de los sexenios.
Sin embargo la utilización que se hace de los mismos actualmente me parece que encaja más con un premio competitivo de excelencia. Obviamente, las personas solicitantes no compiten con otras solicitantes. No hay un cupo de sexenios a conceder en cada convocatoria. Pero sí se compite por los escasos huecos para colocar un artículo en una revista puntera. O por conseguir ser citado, que también son unos huecos limitados (algunas revistas, o algunos revisores, imponen límites al numero de citas. Yo creo que se equivocan, pero ahí están, entre las revistas que acumulan mayor número de citas). Esta competición es contra otras personas que investigan en todo el mundo y se basa en posiciones o ránking o estadística de distribución de citas por artículo.
Por lo tanto, se me ocurren dos posibles funciones que podrían estar en la base de los sexenios. Quizás haya más, pero ahora sólo se me ocurren estas dos (y como veréis es difícil que puedan cumplir ambas, porque el modo de ponerlos en marcha es radicalmente diferente dependiendo de la función que quieres que cumplan):
A) Sexenios es una herramienta de motivación del personal docente e investigador de las universidades españolas, y puede servir, además, como una comprobación rápida de que el trabajo de investigación de 6 años es «digno». En ese caso, es necesario: a) fijar el norte de qué es lo que se quiere potenciar y b) poner un conjunto de métricas alineadas con ese objetivo (lo que se considera un trabajo digno). En este caso, los indicadores deben ser objetivos, predecibles y fijos antes de que la persona haga la investigación. Si se cambian, deben mantenerse las dos «métricas» durante 6 años y usar la que más favorezca a la persona solicitante en ese periodo. El sistema debería ser transparente, sencillo de entender y totalmente automatizable. Se puede hacer un simulador pues, en esencia, la concesión es una decisión totalmente programada y no debe haber sorpresas, ni ambigüedades. Lo que se busca es motivar y crear pasión en un conjunto amplio de personas (miles en total, cientos en cada comisión). No se busca cabrearlas, ni frustarlas, ni ansiarlas. Si se usan evaluadores humanos con criterios subjetivos es sólo para valorar reclamaciones o para casos poco comunes.
B) Sexenios es una evaluación de la calidad de la investigación de la persona solicitante, con un criterio fundamentalmente de excelencia. Aquí encaja mucho una evaluación diversa y rica. En línea con DORA, usando un panel de expertos que pueden valorar, cualitativamente, CADA aportación de CADA solicitante y su historial en el periodo evaluado. Siempre será una evaluación impredecible (aunque sea transparente) porque se basa en juicios humanos (no algoritmos). No tengo claro si, el volumen de solicitudes permite este tipo de evaluación (no es solo que aumeten recursos, si lo hacen hay que alinear criterios de todavía más evaluadores para que no haya agravios comparativos). Tampoco sé si, en este caso B, sería aceptable establecer las métricas y los niveles «a posteriori» (cambiarlos cuando la persona solicitante ya ha realizado su investigación). Desde luego, sera mucho menos dañino que en el caso A) (motivación). Porque se asume que la excelencia es una competición con unas expectativas diferentes a la de la motivación de la fuerza laboral.
En primer lugar, me gustaría aclarar que el impacto de un articulo mucho más que medir sus citas en un determinado proveedor de servicios de indexación de revistas científicas. Lo que pasa es que contar las citas es sencillo (si te conformas con los datos que te proporciona Clarivat/WOS, Scopus o Google Scholar), lo que no quiere decir que sea relevante, ni sea «verdadero» impacto. Es la versión de impacto más sencilla y, a veces, la única que podemos calcular de manera práctica.
Con esto en mente, la pregunta que intentare resolver en esta entrada es ¿cómo saber si un artículo científico publicado es más citado o menos que los artículos similares?
De nuevo tengo que hacer una suposición que no es menos drástica y no genera menos sesgo que la de asumir que impacto = citas. Se trata de asumir que un artículo es similar si:
Se ha publicado el mismo año. Aunque no es lo mismo que se publique en enero, que en diciembre, o que haya estado años en «advanced online» sin fecha definitiva de publicación… Sobre todo cuando la fecha de publicación es reciente, porque aún teniendo el mismo año de publicación un articulo puede estar expuesto al circuito de citas el doble, triple o incluso cuatro veces más de tiempo que otro (de modo que muy similares no serían)
Son del mismo «tema» o «área de conocimiento». La idea de fondo es que hay áreas o comunidades científicas donde los circuitos de maduración de citas (el tiempo habitual que se tarda en ser citado, el numero habitual de citas recibidas y el tiempo que tardas en pasar a ser difícilmente citable por «antiguo») es muy diferente. El problema es que tanto Clarivate/WOS como Scopus tienen un método un tanto cuestionable (no solo por su poca transparencia, sino por sus patentes fallos de clasificación) de decidir en qué área colocar un articulo y, por lo tanto, establecer el conjunto de artículos similares con el que comparar
Por último, debemos asumir que disponemos de acceso a plataformas de pago que hacen el trabajo por nosotros (no conozco ningún servicio gratuito que permita realizar lo que voy a comentar en esta entrada). O pagas una suscripción a Clarivate/WOS o a Scopus, o la paga la institución para la que trabajas. Pero, al menos con mis conocimientos, esto no lo puedes hacer sin rascarte el bolsillo o que alguien se lo haya rascado por ti (o hayas pirateado o usado materiales al margen de las condiciones de uso exclusivo que permiten Clarivate/WOS o Scopus).
En este contexto, y solo en este contexto, es posible dar algunas respuestas a la pregunta.
Advertencia: el procedimiento, enlaces y pantallazos se corresponden a cómo resolver esto en octubre de 2021. Como las plataformas cambian con relativa frecuencia, es posible que las rutas o ubicación de las opciones sea completamente diferente el día que vayas a intentar hacerlo tu.
Primera Opción: las herramientas de indices de impacto que proporciona la suscripción de recursos científicos de FECYT
Estas tablas se actualizan una vez al año (sobre noviembre o diciembre) y sólo están disponibles hasta 3 años antes del momento en el que buscas (pues se considera que con menos tiempo, la posibilidad de recibir citas es muy escaso y las tablas no tendrían mucha utilidad, ni fiabilidad). En cualquier caso, si un articulo publicado hace menos de 3 años ya mejora los indicadores de los que aparecían hace 3 años, es muy buena señal de que tiene un «impacto en citas» que se podría considerar excelente (o al menos superior a la media de articulo que llevan mucho mas tiempo en el «expositor»).
Ten en cuenta de que hay tablas para WOS y tablas para Scopus. Porque cada una de ellas se crea con una fuente de datos diferente y con una metodología de agrupación por area temática muy, muy, pero que muy diferente (no te comparas con el mismo conjunto de artículos en WOS que en SCOPUS). Podréis preguntarme «si me salen datos muy diferentes, ¿cual sería el más adecuado para usar en «mi área»». La respuesta sencilla, es: si miras las citas en WOS usa la tabla de WOS y si las miras en Scopus, pues la de Scopus. Pero si lo que te pasa es que cuando comparas WOS te sale muy bien y cuando comparas Scopus te sale muy mal (que tienes menos citas que el promedio), o al revés. Entonces no me atrevo a dar una respuesta más allá del depende. Lo que si es cierto (eso es un dato objetivo) que, la cobertura de revistas del área de ciencias sociales y en especial en los campos relacionados con la administración de empresa (management), a fecha de 2021, es mucho mayor y mejor en Scopus que en WOS. Además, en scopus hay una división mucho más específica por sub-áreas dentro del campo de administración de empresas (Marin-Garcia y Alfalla-Luque, 2018). Pero «hasta aquí puedo leer». Que haya más cobertura de revistas o más clasificaciones no quiere decir que las agrupe mejor (quizás las agrupe igual de mal que WOS). Resolver esto daría para un artículo científico (animo a quien quiera a que lo haga y si no sabéis a qué revisa mandarlo, en JIEM o en WPOM estaríamos encantados de poder evaluarlo).
Además en cada una de las dos situaciones anteriores tienes dos tablas. En la primera tienes los «descriptivos» de las citas promedio recibidas por los artículos científicos publicados en determinados años, en cada área. En la segunda, para calcular el promedio se han incorporado también «conference proceedings«. Yo, personalmente, creo que solo tiene sentido la primera… pero si alguien se ha tomado la molestia de hacer dos tablas por algo será (como decía «La Bombi» en los casposos años del 1-2-3).
Esta es la información que proporcionan las tablas de citas. Tangase en cuenta que Dirección de Operaciones (Operations Management) no existe como campo, de modo que supongo que hay que considerar los «miscellaneous de business» o business en general como área de comparación. Pero oye, igual a otras personas les parece mejor otra cosa
Vaya… quizás tendría que haber pedido permiso a Elsevier para publicar esta foto.. Bueno, cuando tenga tiempo me dedico a escribir un párrafo que resuma algo de la información y pixelo esta tablaSi, WOS, con vosotros también lo haré… pero cuando tenga tiempo.
Segunda Opción: las métricas a nivel de articulo que proporcionan WOS o Scopus
Scopus lleva años (al menos desde 2018) publicando el «citation benchmarking» y el «field-weighted citation impact» , que se definen y calculan como se muestra en la figura (si quieres más información: Learn more about Article metrics in Scopus).
Definición del F-W citation impact de Scopus
Citation benchmarking
Esta información aparece en la página del articulo (cuando pinchas sobre el título del artículo en los resultados de una búsqueda para que te muestre la información completa). Hace un tiempo era en la parte lateral derecha, ahora está en la parte inferior de la páginas después del resumen… dentro de un tiempo estará en otro sitio.
Junto con el Field-Weighted citation impact (recordad, 1 es que está mas citado de lo esperado) se puede ver el Citation Benchmarking: percentil correspondiente al número de citas del articulo cuando se compara con todos los articulos de scopus publicados en la misma fecha. En la figura, 6 citas en 2016 significa estar en el percentil 59%, lo que puede considerarse un impacto en citas notable dentro de Scopus.
he resaltado en azul oscuro la zona donde se ve la información
WOS se ha incorporado recientemente (2020) a las métricas a nivel de articulo con su «beamplot«. En estos momentos para acceder a estas métricas debes entrar en la página «personal» de cada investigador (Author Profile). Es decir, que no ves esta métrica cuando entras en la información del artículo. Tienes que localizar primero al autor-a
y luego pinchas en el vínculo que hay en su nombre
tras pulsar el enlace a un autor-a, te lleva a su página de perfil
y en la página que se abre con el perfil del autor, te desplazas hacia abajo hasta que encuentres el «Author Impact Beamplot Summary) (insisto, ahora está en la parte de abajo de la página, tras todas las citas de lo publicado. Pero pueden colocarlo en cualquier otro sitio en el futuro). Para ver los detalles, pulsa el botón «View full beamplot»
(solo se incluyen artículos del tipo «article» o «review» data papers u otras contribuciones científicas son ignoradas, de momento, en el «beamplot».
Una forma más rápida puede ser velo desde la cuenta de Publons (si te has creado una cuenta de estas. Es un producto derivado de WOS que promocionaron mucho hace dos años)
Resolvamos un caso práctico
¿Qué posición respecto a impacto en citas tendría este artículo? Garcia-Sabater, J. J., & Marin-Garcia, J. A. (2011). Can we still talk about continuous improvement? Rethinking enablers and inhibitors for successful implementation. International Journal of Technology Management, 55(1/2), 28-42.
(datos recogidos el 29 de septimbre de 2021)
Opción 1: 36 citas Scopus; 36 citas en WOS
El artículo es de 2011, y la temática es de dirección de operaciones, de modo que voy a la tabla de citas de Scopus en la categoría de miscelánea dentro de Business y management, el promedio de citas para artículos de ese año son 13,8. Como el articulo tiene 36 es citado más del doble que el promedio. Si voy a la de WOS en Business es 18.16 y en management es 20,6, de nuevo 30 citas en WOS es casi el doble que el promedio de artículos de ese año en la categoría.
Opción 2:
WOS Beamplot: Busco el perfil de uno de los autores (en este caso el segundo autor), Me desplazo hasta la parte de la página donde esté el gráfico «beamplot» y pulsa el botón «view full beamplot»
y si paso el ratón por encima de uno de los artículos puedo ver los detalles. En este caso voy pasando por todos los de 2011 hasta encontrar el que me interesa. 36 citas en WOS para éste lo sitúa en el percentil 90
Scopus FWCI: busco el artículo en Scopus. En la pagina de detalle abro el campo de «metrics» y las 36 citas para un articulo de 2011 indica un percentil 45% y el FWCI es de 0.26 (que está alejado de 1).
Puede llamar la atención la diferencia de resultados (sobre todo cuando se compara con la tabla de citas de Scopus, que es la misma fuente de datos). Pero no olvidemos que:
The FWCI is the ratio of the document’s citations to the average number of citations received by all similar documents over a three-year window
Seguramente el FWCI no es un buen indicador para articulos antiguos (que seguramente ya no se citan en los últimos tres años, que parece que es la ventana que consideran).
Garcia-Sabater, J. J., & Marin-Garcia, J. A. (2011). Can we still talk about continuous improvement? Rethinking enablers and inhibitors for successful implementation. International Journal of Technology Management, 55(1/2), 28-42.
El objetivo de esta investigación acción es conocer cuáles son las expectativas de un conjunto de docentes respecto a la visibilidad de buenas prácticas educativas en el contexto de educación superior (universidad). Analizaremos la relación entre impacto y visibilidad de las buenas prácticas, exploraremos lo diferentes ámbitos donde se puede localizar el impacto, en qué ámbitos se plantean el impacto de sus buenas prácticas educativas y por qué, lo qué les preocupa, dónde encuentran las principales barreras o dudas, qué necesitan para poder tener una mejor visibilidad y si la rúbrica planteada en la editorial reciente (titulada: Experiencias docentes basadas en investigación-acción: guía para publicar en revistas científicas) es una herramienta útil para fomentar una mejor difusión de estas iniciativas.
Las personas participantes son una muestra de conveniencia de tamaño muy reducido, por lo que las conclusiones extraídas no pueden generalizarse y deberían estudiarse con muestras más amplias en investigación futura.
Marin-Garcia, J. A., Ruiz, A., Maheut, J., Garcia-Sabater, J. P. (2021). A data generator for COVID-19 patients’ care requirements inside hospitals: data paper. WPOM-Working Papers on Operations Management, 12 (in press). https://doi.org/10.4995/wpom.15332
