Using AI to Make Literature Reviews Smarter and More Efficient

Marin-Garcia, J. A., Martinez-Tomas, J., Juarez-Tarraga, A., & Santandreu-Mascarell, C. (2024). Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews. WPOM-Working Papers on Operations Management, 15, 172–208. https://doi.org/10.4995/wpom.22282

What is it about?

This protocol paper describes a new method to help researchers screen and classify scientific articles more efficiently during systematic literature reviews. The authors propose using AI language models called «sentence transformers» to automatically analyze article titles and abstracts, comparing them to the review’s topic of interest. This helps researchers prioritize which articles to review first, rather than working through them randomly. The method was tested with 14 different AI models on a small set of articles about workplace management practices.

Why is it important?

As scientific publications grow exponentially, researchers struggle to efficiently review all relevant literature. This method could: * Save significant time in the screening process * Reduce researcher fatigue and potential bias * Make systematic reviews more accessible to researchers with limited resources * Help democratize access to advanced AI tools for academic research * Support evidence-based management practices by making literature reviews more feasible The approach is particularly valuable because it’s designed to complement rather than replace human judgment, and can be implemented using free, accessible tools.

Perspectives

This protocol represents an innovative bridge between cutting-edge AI technology and traditional academic research methods. The authors’ commitment to making the tool freely available and easy to use for researchers worldwide, regardless of technical expertise or resources, is particularly noteworthy. The pilot results suggest promising potential, though more testing is needed to validate the approach at larger scales.

Professor Juan A. Marin-Garcia
Universitat Politecnica de Valencia

This page is a summary of: Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews, WPOM – Working Papers on Operations Management, December 2024, Universitat Politecnica de Valencia,
DOI: 10.4995/wpom.22282.

A Three-Step Publishing Model to Support Evidence-Based Management

Marin-Garcia, J. A. (2021). Three-stage publishing to support evidence-based management practice. WPOM-Working Papers on Operations Management, 12(2), 56–95. https://doi.org/10.4995/wpom.11755

What is it about?

This paper proposes a new model for publishing scientific research in business and management that aims to make studies more transparent and useful for practitioners. The model includes three key stages: 1) Publishing the research protocol/plan before starting, 2) Publishing the collected data, and 3) Publishing the final results and conclusions. This approach helps ensure research is well-planned, data is accessible for verification, and findings can be confidently applied in real-world management practice.

Why is it important?

Currently, there’s a big gap between management research and practice – many research findings never get implemented by actual managers. This model helps bridge that gap by: * Making the research process more transparent and trustworthy * Ensuring data quality through peer review at each stage * Making it easier for practitioners to access and understand findings * Encouraging more systematic, well-planned studies * Supporting evidence-based management decisions The model could significantly improve how management research is conducted and shared, ultimately making it more valuable for both academics and practitioners.

Perspectives

This innovative proposal challenges traditional publishing approaches in management research. While similar models exist in medicine and other fields, this is one of the first attempts to systematically apply such rigorous standards to business research. This offers a practical solution to improve research quality and impact. The detailed guidelines and examples make this a valuable roadmap for researchers wanting to conduct more transparent, reproducible studies.

Professor Juan A. Marin-Garcia
Universitat Politecnica de Valencia

¿Cómo afecta el compromiso laboral a las emociones diarias?

En una encuesta reciente de GALLUP,durante el tercer trimestre 2024 en USA, se preguntaba si los participantes experimentaron emociones como estrés, preocupación, enojo o tristeza durante gran parte del día anterior y también con su nivel de «compromiso» (le llaman engagement y la verdad es que es una mezcla o potpurrí de indicadores que no son exactamente ni compromiso, ni implicación, ni ninguna medida específica)

Esta gráfica muestra cómo el promedio de la experiencia de emociones negativas diarias (estrés, preocupación, tristeza y enojo) es diferentes al agrupar a las personas participantes por el nivel de compromiso de los empleados en tres categorías: activamente desconectados-as, no comprometidos-as y comprometidos-as.

Conclusión:

Aparentemente, el compromiso laboral está vinculado a una reducción en las emociones negativas. Los empleados comprometidos muestran niveles mucho más bajos de estrés, preocupación, tristeza y enojo, mientras que los activamente desconectados sufren con mayor intensidad estas emociones negativas. Pero la verdad es que sólo con esta gráfica no sabemos cómo afecta, ni si el compromiso es la causa o la consecuencia de las emociones. Lo que parece, es que tienen alguna relación entre si (o que ambas realmente no tienen relación, pero si la tienen con una tercera variable, correlación espuria).

La implicación y las emociones negativas en USA ¿Spain is different?

En una encuesta reciente de GALLUP, se preguntaba si los participantes experimentaron emociones como estrés, preocupación, enojo o tristeza durante gran parte del día anterior.

El estrés es la emoción negativa más reportada y ha mostrado una tendencia ascendente desde 2008. Aumentó en 2020 (posiblemente debido a la pandemia de COVID-19) y aunque se ha reducido, se mantiene en niveles superiores a pre-pandemia
La preocupación se mantuvo relativamente constante hasta 2020, cuando también aumentó bruscamente. Posteriormente, comenzó a disminuir ligeramente, estabilizándose alrededor del 40% en 2024 (valor superior a pre-pandemia).
La tristeza tuvo un aumento gradual hasta 2020 y luego disminuyó ligeramente. Actualmente se encuentra en 22%.
El enojo es la emoción menos frecuente entre las cuatro, con valores cercanos al 18% en 2024. Ha mostrado una tendencia relativamente estable con leves fluctuaciones.

Conclusión:

La gráfica destaca cómo las emociones negativas (particularmente el estrés y la preocupación) aumentaron durante períodos críticos como la pandemia, aunque algunas han disminuido desde entonces. Sin embargo, el estrés sigue siendo un factor presente en la vida diaria de los empleados en Estados Unidos.

¿Qué valores tendremos para estos indicadores en España? ¿Será una tendencia parecida? Pero, sobre todo, ¿seremos capaces de identificar las causas y no solo de describir un fenómeno?

Claude, el mejor copiloto para investigación actualmente

Llevo 4 meses sometiendo a diferentes modelos/plataformas a casos de uso reales que me enfrento en mi tarea como investigador en el área de management. Cada vez que tengo que realizar una tarea susceptible de se copilotada por una Inteligencia Artificial generativa, la pruebo en las 6 alternativas (me he suscrito a la version «pro» de todas ellas para poder compararla en su «mejor versión»).

Mis casos de uso recorren tareas tan diversas como plantear investigaciones nuevas, dar respuesta a criticas de revisores/as a mis envíos a revistas, ver el estado actual de investigación, extraer definiciones contrastadas avaladas por citas «top», asesor metodológico para análisis complejos, soporte para código python o R para análisis, soporte para creación de páginas web para captura de datos, reformulación de transcripciones de entrevista, anonimización de nombres (entity recognition) en entrevistas o campos abiertos de encuestas,….

Además, los he usado varias veces para cada tarea (mínimo 5 o 6 veces, algunas más de 30 veces durante estos cuatro meses)

En las plataformas como perplexity, consensus, scite o scispace no he sido capaz de saber cual es el modelo que usan de base. Todas ellas lo han «fine-tuneado» pero no se sobre que modelo han partido.

En mi experiencia, el modelo por excelencia para soporte a tareas de investigación es Claude3.5-sonnet. Ninguna de las otras plataformas se acerca en rendimiento.

Puedes acceder desde Anthropic https://claude.ai/login?returnTo=%2F%3F o desde https://poe.com (mi favorita)

Pd: si no tienes dinero para pagar varias suscripciones, mi consejo es que lo inviertas en Poe.com (o, como segunda opción, en Anthropic). Si tines dinero para pagar varias, compra solo la de Poe.com y te gastas el resto tomando algún aperitivo con tus amigos/as.

Pd: mi ranking no puede extrapolarse para otros usos no relacionados con tareas de investigación. También podéis alegar que mis casos de uso son «muy particulares» y no os representan. Si no os convencen mis resultados, comprobadlo aplicando a vuestros casos de uso.

#IAgen #research

Flexibilidad y work-life balance

Aunque este articulo tiene otro enfoque y realmente habla de flexibilidad en general, me ha dado por pensar que si no planificamos las tareas el trabajo remoto igual arregla la vida de quien trabaja remoto, pero estresa y empeora la vida de los que están a la espera (o con la incertidumbre) de cuando estarán las cosas hechas.

Esto no es solo por teletrabajo (no penséis que me opongo el trabajo remoto, todo lo contrario), me la juego a que esa incertidumbre existe en el mismo momento que un proceso pasa de las tareas que hace una unidad a las que hace otra unidad distinta.

Mi intuición es que planificamos poco o nada las tareas en mi contexto cercano y el argumento que soporta mi intuición es que muy, muy pocas personas usan “gestores de tareas” (una simple tabla o Trello, Planner, Asana o similares) y las veces que he intentado convencer a alguien que los use en tareas de equipo, la resistencia ha sido brutal (nunca he conseguido que se usen). De modo que sospecho que, a nivel individual, donde es menos evidente su necesidad, se usarán todavía menos.

Mi sesgo es que dudo que alguien planifique si no divide el trabajo en tareas y asigna fechas y responsables para las mismas. Es un sesgo grande, porque realmente esto es «Programar» tareas y no «Planificar» tareas. Pero yo intuyo (de nuevo es intuición) que cuando el articulo habla de Planificar, realmente se quiere referir a Programar tareas.

(una visión de gestores de tareas: Algunas indicaciones para elegir el gestor de tareas que necesita el equipo remoto | 16/21 | UPV – YouTube)

Spoiled for Choice? When Work Flexibility Improves or Impairs Work–Life Outcomes

Brandon W. Smit https://orcid.org/0000-0003-0586-2091 bsmit@bentley.edu, Scott L. Boyar, and Carl P. Maertz, Jr.View all authors and affiliations

OnlineFirst

https://doi.org/10.1177/01492063231215018

Abstract

Work flexibility, which reflects employee discretion over where and/or when they complete tasks, has become a pervasive practice designed to reduce stress and enhance work–life balance. Despite its popularity, relatively little is known about its potential drawbacks. Through extending conservation of resources theory using dual process models of decision-making, we develop and test a theoretical model that demonstrates how and for whom perceived flexibility can improve or impair work-life outcomes. Across two studies utilizing panel data collected in three waves, we demonstrate that planning is a key mediating mechanism that allows individuals to translate the discretion afforded by flexibility into enhanced work-life balance and reduced exhaustion. Furthermore, we find that planning among those with a low future temporal focus, who are not inclined to plan by default, was strongly influenced by environmental discontinuities (e.g., disruptions to routines). Specifically, while flexibility increased planning when individuals experienced discontinuities, flexibility reduced planning among individuals in stable and familiar circumstances, which ultimately impaired work-life outcomes. Our model offers a useful theoretical lens to understand how individuals manage, and occasionally mismanage, the expanded discretion offered by flexibility.

¿Cómo vamos de entusiasmo en nuestras organizaciones?

Source: Global Indicator: Employee Engagement – Gallup

Los datos provienen de la engagement survey. La encuesta se pasa periódicamente y según la página web de Gallup, han recogido más de 2.7 millones de respuestas de personas que trabajan en más de 100.000 equipo en organizaciones más de 50 actividades económicas a lo largo de todo el mundo. La información que he encontrado sobre la “Gallup World Poll” (https://www.gallup.com/178667/gallup-world-poll-work.aspx) indica que el muestreo es aleatorio (por rutas estratificadas) entre personas mayores de 15 años que trabajan al menos ciertas horas para un empleador. Se realiza la entrevista de forma telefónica o cuestionario web autoadministrado en los países desarrollados y de manera presencial en los países emergentes. A entrevista dura unos 30 minutos y les preguntan muchas cosas además del Q12. Encada país se recogen entre 500 y 1000 respuestas (menos en Rusia y China que se recogen 2000). En esta ruta puedes encontrar detalles sobre la administración en cada país (https://www.gallup.com/services/177797/country-data-set-details.aspx)

Su instrumento de medida es el Q12. Que mide la percepción de empleados/as respecto a 12 ítems (yo prefiero medir el engagement con otra herramienta, y creo que esta mide un mezcladillo de cosas, no solo engagement. Pero no me voy a poner quisquilloso con esto). El engagement podríamos definirlo de forma rápida como la implicación y el entusiasmo de una persona empleada acerca de su trabajo y de la organización para la que trabaja.

Gallup clasifica a las personas empleadas en tres categorías usando una formula propia (y no compartida) que pondera los diferentes elementos y la adapta a diferentes circunstancias (de modo que no se puede reproducir sumando las personas que responden “totalmente de acuerdo” y “de acuerdo” a cada ítem). Estas tres categorías son:

Implicadas (tienen sus necesidades básicas cubiertas, tienen oportunidad de contribuir y sentido de pertenencia en la organización y encuentran oportunidades de aprender y crecer). Estas personas están muy motivadas y muestran entusiasmo. Son motores de rendimiento e innovación y ayudan a que la organización mejore y se desarrolle.
No Implicadas (están psicológicamente desapegados de su trabajo y de su organización). Son personas que dedican tiempo, pero no energía o pasión a su trabajo
Activamente desconectados (estas personas no solo están descontentas, sino que están resentidos. Sienten que sus necesidades no están siendo satisfechas y expresan su infelicidad abiertamente). Es muy probable que estas personas destrocen cada día (consciente o inconscientemente) el trabajo y el esfuerzo que realizan sus compañeros/as más comprometidos

La evolución global del indicador de engagement muestra que en los años recientes se ha estancado (o reducido el número de personas implicadas, y, al mismo tiempo ha crecido el de activamente desconectadas).

Mi reflexión. Si llegamos a un punto de equilibrio donde hay la misma cantidad de personas desconectado como implicadas, la resultante es cero… unas destrozan y anulan el esfuerzo de las otras. De modo que, poco a poco, las implicadas dejarán de estarlo porque verán que su esfuerzo no vale para nada… Quizás la única solución es mimar todo lo que puedas a las personas implicadas que tengas y ver si hay algo que puedes hacer con las desconectadas, o para evitar que las no implicadas se vayan al lado oscuro en masa.

Insisto en que no estoy seguro de que el Q12 mida exactamente engagement, o que solo engagment. Pero mida lo que mida, Europa es el lugar de mundo con menos de eso en 2021 (según los datos de Gallup).

Y si nos fijamos en los datos de satisfacción (solo he encontrado los datos de USA), se aprecia una gran bajada en las personas “extremadamente satisfechas con la organización para la que trabajan” en los últimos años. No obstante, hay que tener en cuenta que la gráfica está truncada y el “salto” da la impresión de ser más grande de lo que sería en realidad si el eje de ordenadas empezara en cero.

¿Estará pasando algo parecido en Europa? ¿Y en España?

¿Crees que sería interesante que analizáramos estos datos de Europa y desglosado por actividad económica, tipo de ocupación y sector público vs privado?

¿Cuánto fracasan las intervenciones de cambio organizativo? ¿Es verdad lo que te dicen las organizaciones o lo que publicamos los académicos?

Os comparto una reflexión derivada de un correo en el que me preguntaban el interés de una investigación acción que ha terminado de forma inesperada porque la organización donde se estaba trabajando no tenía una cultura tan innovadora ni tan guay como las personas directivas creían. El proceso de cambio les ha estallado en las narices porque su gente está realmente desmotivada y no ven un norte claro.

Yo creo que los casos de “fracaso” son super interesantes y me parece que casi no hay ninguno publicado. Esto es curioso porque circula por ahí la cita de que más del 80% de los cambios en las organizaciones no son tan exitosos a la primera como se diseñaron. Dudo de que se pueda hablar de 80% de fracaso, como les gusta decir a muchos “gurus”. Mas bien me inclino a pensar que, en el 80% de las veces, las cosas van más lentas, requieren más dinero o esfuerzo de lo planificado, o incluso dos o tres iteraciones no previstas para llegar a un puerto que se considere suficientemente bueno.

Sin embargo, no me viene a la cabeza ningún artículo de caso de “fracaso”. Creo que un proyecto interesante sería una revisión de literatura de casos de fracaso: cuántos hay comparando con los publicados de éxito, si esa proporción parece razonable a la luz de lo que vive el mundo “real”, y cuáles son las características que tienen en común los que fracasan pero que no comparten los de éxito.

Dudo que este proyecto, caso de hacerse, pueda concluir algo, porque no habrá muestra de artículos y porque éstos, estarán pobremente informados, haciendo casi imposible la extracción de información relevante. Pero serviría para poner sobre la mesa un tema relevante que creo que no estamos trabajando bien desde la academia -en Journal of industrial engineering and management, nos encantaría recibir ese trabajo sea cual fuera el resultado o conclusiones del estudio-).

#management #change

Los empresarios ejecutan su negocio en riesgo y errores de inversión

Numero de revistas en Scopus y en WOS

Tras acabar de impartir la sesión en un curso reciente, sobre como publicar investigación sobre aprendizaje en la universidad, me he quedado con el «runrun» al ver 40.000 revistas en Scopus esta mañana, porque yo recordaba que serían unas 25.000

Numero total de revistas Scopus en diciembre de 2022

Aquí lo explica (Profesional de la información » Blog Archive » ¿Cuántas revistas tiene indexadas Scopus? (profesionaldelainformacion.com) y confirma mi intución. Es que 40.878 es el historico de toda la vida de Dios (Desde 2011) pero hay 14.000 inactivas.

Por otra parte, en diciembre de 2022 hay 21.494 revistas en Core Colection (las del JCR) pero SOLO 13.840 reciben de momento Factor de Impacto (todas las demás reciben una métrica alternativa JCI). A partir de junio de 2023 (es decir el JCR de 2022) TODAS las revistas Core Collection de WOS recibirán factor de impacto. Es decir que un 50% de nuevas revistas entrarán a competir. Eso generará un vuelco en las clasificaciones. (porque automáticamente los cuartiles pasarán a tener un 50% más de revistas. Actualmente en Q1 hay unas 3500 revistas y pasará a haber 5.500 revistas. Algunas de las que entran, entrarán en Q2-Q3 (no van a entrar todas en la cola, ya os lo aseguro)

Dado que, para muchas personas investigadoras, el principal criterio para elegir revista sea el IF (que no creo que sea el mejor criterio para elegirla, pero entiendo que estéis obsesionados/as con eso), que sepáis se habrá varios años turbulentos. hasta que las comisiones sean capaces de:

a) enterarse de que esto va a pasar (os asombraréis, pero la mayoría ni lo sabe, aunque sea algo publico desde hace más de 8 meses)

b) pensar si eso obliga a modificar las horquillas de puntuación por cuartiles o la politica «anti-scopus» que claramente hay actualmente o si deciden dejarlas igual

**Mas de la mitad actual de Q2 IF WOS pasará a ser Q1 en el JCR 2022. Todo el Q3 actual pasará a ser Q2**

Negative or Net suppression/reciprocal or cooperativa suppression in mediated or PLS- SEM models

The negative sign in the path or weight means «negative or net suppression». This is a common issue when using several variables correlated in the same model. The tricky issue is that all variables are positively related wth SC-Ad (se latent variable correlations in 2^nd order HOC model), but you can observe a negative value in the path. How can this be possible? It is well documented in mediation analysis (i.e., Ato & Vallejo, 2011 page 558), and it is explained by the relative «impact» of the predictors on the dependent variable. The predictor less correlated with the dependent variable is used to “compensate” the “inflate” paths for the other predictors. The negative or net suppression occurs when all the variables have a high positive correlation among themselves (rXY, rXZ, rZY > 0), but the regression coefficient of one of the variables is negative. Reciprocal or cooperative suppression occurs when two variables are negatively correlated with each other, but both are positively correlated with the outcome variable.

Inconsistent Mediation (from Mediation (David A. Kenny) (davidakenny.net))

"If c' were opposite in sign to ab something that MacKinnon, Fairchild, and Fritz (2007) refer to as inconsistent mediation, then it could be the case that Step 1 would not be met, but there is still mediation. In this case the mediator acts like a suppressor variable. One example of inconsistent mediation is the relationship between stress and mood as mediated by coping. Presumably, the direct effect is negative: more stress, the worse the mood. However, likely the effect of stress on coping is positive (more stress, more coping) and the effect of coping on mood is positive (more coping, better mood), making the indirect effect positive. The total effect of stress on mood then is likely to be very small because the direct and indirect effects will tend to cancel each other out. Note too that with inconsistent mediation that typically the direct effect is even larger than the total effect."

Ato, M., & Vallejo, G. (2011). Los efectos de terceras variables en la investigación psicológica. Anales de Psicología, 27(2), 550-561. http://digitum.um.es/jspui/handle/10201/26561

Conger, A. J. (2016). A Revised Definition for Suppressor Variables: a Guide To Their Identification and Interpretation. Educational and Psychological Measurement, 34(1), 35-46. https://doi.org/10.1177/001316447403400105
Gaylord-Harden, N. K., Cunningham, J. A., Holmbeck, G. N., & Grant, K. E. (2010). Suppressor effects in coping research with African American adolescents from low-income communities. J Consult Clin Psychol, 78(6), 843-855. https://doi.org/10.1037/a0020063
Krus, D. J., & Wilkinson, S. M. (1986). Demonstration of properties of a suppressor variable. Behavior Research Methods, Instruments, & Computers, 18(1), 21-24. https://doi.org/10.3758/BF03200988
MacKinnon, D. P., Krull, J. L., & Lockwood, C. M. (2000). Equivalence of the Mediation, Confounding and Suppression Effect. Prevention Science, 1(4), 173-181. https://doi.org/10.1023/A:1026595011371

What is it about?

Featured Image

Why is it important?

Perspectives

Read the Original

What is it about?

Featured Image

Why is it important?

Perspectives

Conclusión:

Conclusión:

Spoiled for Choice? When Work Flexibility Improves or Impairs Work–Life Outcomes

Abstract