What is learning in the age of generative AI? From panic to evidence

I will be presenting this research at the upcoming XVII International Workshop ACEDEDOT – OMTECH 2026, taking place in Almería, Spain, from March 12-14, 2026:

This communication presents an autoethnographic reflection. Building on four fundamental premises about the function of Spanish public universities and the established mechanisms of human learning, the author documents his personal journey from initial uncertainty to the design of a systematic work plan. The study focuses on understanding the current scientific consensus on how learning is consolidated in the brain and exploring the possibilities of generative AI to enhance this process in the university context. Drawing on the work of Héctor Ruiz Martín, a work plan is designed that combines recommendations from educational neuroscience with the Feynman method and the EPLEDRE model, including spaced reading, creation of sketchnote-type graphic schemes from memory, and public communication of the knowledge constructed. The communication shares the first graphic schemes developed and reflects on the author’s dual position as university teacher and administrator, facing both his own methodological uncertainties and institutional expectations for strategic guidance. It questions the “collective panic” surrounding the emergence of generative AI in universities and the pressure to make quick decisions without sufficient reflection. It proposes replacing reactive urgency with a deliberate process of calm, evidence-based reflection and pilot experimentation, recognizing that in contexts of accelerated change, it is preferable to miss some “trains” rather than make biased decisions under collective amygdala hijacking

Keywords: Learning; autoethnography; generative artificial intelligence; university learning; educational neuroscience; teaching transformation

Learning; autoethnography; generative artificial intelligence; university learning; educational neuroscience; teaching transformation

Visitas: 36

Rellenar sexenios de investigación: mi propuesta para transformarlo

Este año me toca presentar la solicitud para el sexenio de investigación. La experiencia de las tres veces anteriores fue frustrante, no por el resultado (conseguí el informe favorable directo en las tres ocasiones), sino por la sensación de pérdida de tiempo en una actividad que no añadía absolutamente nada de valor (ni a mí ni a la sociedad).

Ahora voy a intentar que sea diferente; no sé si lo conseguiré, porque los sistemas pensados para “certificar” la calidad, y no para “promover” la calidad, no ayudan demasiado y tienen una pasmosa capacidad para convertir las tareas en “No Valor Añadido, No Evitable”.

¿Qué es lo que me planteo?  Aprovechar que voy a hacer una mirada retrospectiva a mis publicaciones y reflexionar sobre el impacto social, la contribución al progreso del conocimiento y el impacto científico para decidir qué cosas tengo que cambiar en el futuro.

El principal problema que anticipo es que los indicadores que tendré disponibles no me darán ninguna información relevante para tomar decisiones.

Por ejemplo, aunque se me hubiera ocurrido etiquetar con la TAG #sexeniosjamgupv2025 todas las entradas que he hecho en las diferentes redes sociales, ¿para qué me sirve ver el número de “likes” en linkedin, Facebook, X o Bluesky? ¿Realmente me dice algo sobre cómo mejorar el tipo de investigación que hago?

Supongo que podría decir algo parecido de las citas, ¿que no me citen (o que me citen) significa que realmente no (si) se han leído mi trabajo?

Y si no me sirven los indicadores disponibles, ¿cómo puedo tomar decisiones basadas en evidencia y no usar autoengaños para justificarme ante mí mismo?

Pues este tipo de cosas son las que quiero darles algunas vueltas las próximas semanas. Si no aclaro nada, esta edición de la solicitud de sexenios habrá sido, una vez más, una pérdida de tiempo. Si saco alguna conclusión, tendré que agradecer a ANECA por obligarme a invertir mi tiempo en preparar una solicitud que ha desencadenado un proceso beneficioso.

https://guiasbib.upo.es/convocatoria_sexenios/portada

Visitas: 96

DECIDE – Design and Evaluation of Collaborative Intervention for Decision Enhancement

Extended Title: Action research on designing materials, protocol, and feasibility of a complex intervention to foster critical thinking and apply the triple diamond framework in group decision-making.

This project aims to enhance students’ critical thinking and decision-making skills by developing, testing, and refining a structured group decision-making framework called the triple diamond. It focuses on identifying misconceptions that hinder students’ use of this framework and improving pedagogical interventions through active, collaborative learning and evidence-based methodologies.

  • Project scope and participants: The innovation will be implemented across multiple courses in engineering, logistics, and business master’s programs, involving diverse student groups facing recurring difficulties in applying structured decision-making methods.
  • Problem identification: Students consistently rely on intuitive rather than structured approaches in group decisions, struggling to apply the triple diamond framework despite repeated instruction and practice. This issue is persistent and mirrors challenges observed in professional settings.
  • Theoretical foundations: The project integrates concepts of misconceptions, knowledge elicitation, threshold concepts, and decoding the discipline to reveal and address barriers to expert-like thinking in decision processes. It emphasizes the reorganization of knowledge fragments rather than the mere replacement of incorrect ideas.  
  • Learning objectives: Students will learn to manage group decision processes using the triple diamond, define tasks and prioritization criteria explicitly, analyze innovation competencies, and develop reasoned, evidence-based reports, all enhancing critical thinking skills.
  • Methodology: The project employs active and collaborative learning through structured three-hour classroom dynamics complemented by autonomous preparatory work. It incorporates innovative visual case representations, reflective learning journals, and think-aloud protocols to elicit student thinking and identify misconceptions.
  • Expected outcomes: These include identifying common misconceptions, adapting and developing rubrics for assessment, quantifying students’ valuation of innovation competencies, improving decision quality and reducing cognitive biases, and evaluating the impact of different case presentation formats on engagement and critical thinking.
  • Work plan and tools: The two-year plan details tasks such as material development, rubric adaptation, protocol design, experimental validation, and dissemination through academic articles and conferences. Project management uses O365 tools with regular team meetings and quality control processes.
  • Evaluation strategy: Evaluation includes measuring the number and categorization of misconceptions, rubric validation, analysis of student preferences and clusters, transferability assessments, pre-post intervention comparisons, and engagement metrics using established models. Data collection involves think-aloud sessions, forum analyses, and observations.
  • Impact and dissemination: The project aims to improve teaching and learning by making decision-making processes transparent and evidence-based, enabling transfer across disciplines and formats, including MOOCs. Results will be shared via conferences, indexed publications, online platforms, and social media, ensuring broad accessibility and adoption.

#PI-DECIDE

Visitas: 57

Optimizing the screening of scientific literature: Artificial or Human Intelligence?

El 14 de marzo 2025, presentaremos nuestro trabajo Optimizing the screening of scientific literature: Artificial or Human Intelligence? en el XVI Workshop in Operations Management and Technology en Melilla.
This paper analyses the use of artificial intelligence (AI) in scientific literature screening, comparing its performance with the consensus of human researchers. The objective is to evaluate three methods: 1) generative AI using chatbots such as ChatGPT and Claude; 2) supervised learning with the Rayaan algorithm; and 3) similarity ranking based on sentence Transformers embeddings, proposed by Marin-Garcia et al. (2024). The study aims to determine whether any of these methods reduce manual effort and improve efficiency metrics such as accuracy, repeatability and time spent. It will also investigate the generalisability of these models to different scientific areas and whether the integration of multiple models improves the consistency of results in complex texts.

Alfalla- Luque, R., Luján García, D. E., & Marin- Garcia, J. A. (2023). Supply chain agility and performance: evidence from a meta- analysis. International Journal of Operations & Production Management, 43(10), 1587-1633. https://doi.org/10.1108/ijopm- 05- 2022- 0316
Marin- Garcia, J. A., Martinez- Tomas, J., Juarez- Tarraga, A., & Santandreu-Mascarell, C. (2024). Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews. WPOM- Working Papers on Operations Management, 15, 172-208. https://doi.org/10.4995/wpom.22282


Rafaela Alfalla-Luque Alina Díaz Curbelo Juan A. Marin-Garcia Juan Martínez cartoonabstract

 

Visitas: 52

Using AI to Make Literature Reviews Smarter and More Efficient

Marin-Garcia, J. A., Martinez-Tomas, J., Juarez-Tarraga, A., & Santandreu-Mascarell, C. (2024). Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews. WPOM-Working Papers on Operations Management, 15, 172–208. https://doi.org/10.4995/wpom.22282

What is it about?

This protocol paper describes a new method to help researchers screen and classify scientific articles more efficiently during systematic literature reviews. The authors propose using AI language models called “sentence transformers” to automatically analyze article titles and abstracts, comparing them to the review’s topic of interest. This helps researchers prioritize which articles to review first, rather than working through them randomly. The method was tested with 14 different AI models on a small set of articles about workplace management practices.

Featured Image

Why is it important?

As scientific publications grow exponentially, researchers struggle to efficiently review all relevant literature. This method could: * Save significant time in the screening process * Reduce researcher fatigue and potential bias * Make systematic reviews more accessible to researchers with limited resources * Help democratize access to advanced AI tools for academic research * Support evidence-based management practices by making literature reviews more feasible The approach is particularly valuable because it’s designed to complement rather than replace human judgment, and can be implemented using free, accessible tools.

Perspectives

This protocol represents an innovative bridge between cutting-edge AI technology and traditional academic research methods. The authors’ commitment to making the tool freely available and easy to use for researchers worldwide, regardless of technical expertise or resources, is particularly noteworthy. The pilot results suggest promising potential, though more testing is needed to validate the approach at larger scales.

Professor Juan A. Marin-Garcia
Universitat Politecnica de Valencia

Read the Original

This page is a summary of: Protocol paper: From Chaos to Order. Augmenting Manual Article Screening with Sentence Transformers in Management Systematic Reviews, WPOM – Working Papers on Operations Management, December 2024, Universitat Politecnica de Valencia,
DOI: 10.4995/wpom.22282.

Visitas: 19

A Three-Step Publishing Model to Support Evidence-Based Management

Marin-Garcia, J. A. (2021). Three-stage publishing to support evidence-based management practice. WPOM-Working Papers on Operations Management, 12(2), 56–95. https://doi.org/10.4995/wpom.11755 

 

What is it about?

This paper proposes a new model for publishing scientific research in business and management that aims to make studies more transparent and useful for practitioners. The model includes three key stages: 1) Publishing the research protocol/plan before starting, 2) Publishing the collected data, and 3) Publishing the final results and conclusions. This approach helps ensure research is well-planned, data is accessible for verification, and findings can be confidently applied in real-world management practice.

Featured Image

Why is it important?

Currently, there’s a big gap between management research and practice – many research findings never get implemented by actual managers. This model helps bridge that gap by: * Making the research process more transparent and trustworthy * Ensuring data quality through peer review at each stage * Making it easier for practitioners to access and understand findings * Encouraging more systematic, well-planned studies * Supporting evidence-based management decisions The model could significantly improve how management research is conducted and shared, ultimately making it more valuable for both academics and practitioners.

Perspectives

This innovative proposal challenges traditional publishing approaches in management research. While similar models exist in medicine and other fields, this is one of the first attempts to systematically apply such rigorous standards to business research. This offers a practical solution to improve research quality and impact. The detailed guidelines and examples make this a valuable roadmap for researchers wanting to conduct more transparent, reproducible studies.

Professor Juan A. Marin-Garcia
Universitat Politecnica de Valencia

Visitas: 19

¿Cómo vamos de entusiasmo en nuestras organizaciones?

Source: Global Indicator: Employee Engagement – Gallup

Los datos provienen de la engagement survey. La encuesta se pasa periódicamente y según la página web de Gallup, han recogido más de 2.7 millones de respuestas de personas que trabajan en más de 100.000 equipo en organizaciones más de 50 actividades económicas a lo largo de todo el mundo. La información que he encontrado sobre la “Gallup World Poll” (https://www.gallup.com/178667/gallup-world-poll-work.aspx) indica que el muestreo es aleatorio (por rutas estratificadas) entre personas mayores de 15 años que trabajan al menos ciertas horas para un empleador. Se realiza la entrevista de forma telefónica o cuestionario web autoadministrado en los países desarrollados y de manera presencial en los países emergentes. A entrevista dura unos 30 minutos y les preguntan muchas cosas además del Q12. Encada país se recogen entre 500 y 1000 respuestas (menos en Rusia y China que se recogen 2000). En esta ruta puedes encontrar detalles sobre la administración en cada país (https://www.gallup.com/services/177797/country-data-set-details.aspx)

Su instrumento de medida es el Q12. Que mide la percepción de empleados/as respecto a 12 ítems (yo prefiero medir el engagement con otra herramienta, y creo que esta mide un mezcladillo de cosas, no solo engagement. Pero no me voy a poner quisquilloso con esto). El engagement podríamos definirlo de forma rápida como la implicación y el entusiasmo de una persona empleada acerca de su trabajo y de la organización para la que trabaja.

Gallup clasifica a las personas empleadas en tres categorías usando una formula propia (y no compartida) que pondera los diferentes elementos y la adapta a diferentes circunstancias (de modo que no se puede reproducir sumando las personas que responden “totalmente de acuerdo” y “de acuerdo” a cada ítem). Estas tres categorías son:

  • Implicadas (tienen sus necesidades básicas cubiertas, tienen oportunidad de contribuir y sentido de pertenencia en la organización y encuentran oportunidades de aprender y crecer). Estas personas están muy motivadas y muestran entusiasmo. Son motores de rendimiento e innovación y ayudan a que la organización mejore y se desarrolle.
  • No Implicadas (están psicológicamente desapegados de su trabajo y de su organización). Son personas que dedican tiempo, pero no energía o pasión a su trabajo
  • Activamente desconectados (estas personas no solo están descontentas, sino que están resentidos. Sienten que sus necesidades no están siendo satisfechas y expresan su infelicidad abiertamente). Es muy probable que estas personas destrocen cada día (consciente o inconscientemente) el trabajo y el esfuerzo que realizan sus compañeros/as más comprometidos

La evolución global del indicador de engagement muestra que en los años recientes se ha estancado (o reducido el número de personas implicadas, y, al mismo tiempo ha crecido el de activamente desconectadas).

Mi reflexión. Si llegamos a un punto de equilibrio donde hay la misma cantidad de personas desconectado como implicadas, la resultante es cero… unas destrozan y anulan el esfuerzo de las otras. De modo que, poco a poco, las implicadas dejarán de estarlo porque verán que su esfuerzo no vale para nada… Quizás la única solución es mimar todo lo que puedas a las personas implicadas que tengas y ver si hay algo que puedes hacer con las desconectadas, o para evitar que las no implicadas se vayan al lado oscuro en masa.

 

Insisto en que no estoy seguro de que el Q12 mida exactamente engagement, o que solo engagment. Pero mida lo que mida, Europa es el lugar de mundo con menos de eso en 2021 (según los datos de Gallup).

Y si nos fijamos en los datos de satisfacción (solo he encontrado los datos de USA), se aprecia una gran bajada en las personas “extremadamente satisfechas con la organización para la que trabajan” en los últimos años. No obstante, hay que tener en cuenta que la gráfica está truncada y el “salto” da la impresión de ser más grande de lo que sería en realidad si el eje de ordenadas empezara en cero.

¿Estará pasando algo parecido en Europa? ¿Y en España?

¿Crees que sería interesante que analizáramos estos datos de Europa y desglosado por actividad económica, tipo de ocupación y sector público vs privado?

Visitas: 56

Numero de revistas en Scopus y en WOS

Tras acabar de impartir la sesión en un curso reciente, sobre como publicar investigación sobre aprendizaje en la universidad, me he quedado con el “runrun” al ver 40.000 revistas en Scopus esta mañana, porque yo recordaba que serían unas 25.000

Numero total de revistas Scopus en diciembre de 2022

Aquí lo explica (Profesional de la información » Blog Archive » ¿Cuántas revistas tiene indexadas Scopus? (profesionaldelainformacion.com) y confirma mi intución. Es que 40.878 es el historico de toda la vida de Dios (Desde 2011) pero hay 14.000 inactivas.

Por otra parte, en diciembre de 2022 hay 21.494 revistas en Core Colection (las del JCR) pero SOLO 13.840 reciben de momento Factor de Impacto (todas las demás reciben una métrica alternativa JCI). A partir de junio de 2023 (es decir el JCR de 2022) TODAS las revistas Core Collection de WOS recibirán factor de impacto. Es decir que un 50% de nuevas revistas entrarán a competir. Eso generará un vuelco en las clasificaciones. (porque automáticamente los cuartiles pasarán a tener un 50% más de revistas. Actualmente en Q1 hay unas 3500 revistas y pasará a haber 5.500 revistas. Algunas de las que entran, entrarán en Q2-Q3 (no van a entrar todas en la cola, ya os lo aseguro)

Dado que, para muchas personas investigadoras, el principal criterio para elegir revista sea el IF (que no creo que sea el mejor criterio para elegirla, pero entiendo que estéis obsesionados/as con eso), que sepáis se habrá varios años turbulentos. hasta que las comisiones sean capaces de:

a) enterarse de que esto va a pasar (os asombraréis, pero la mayoría ni lo sabe, aunque sea algo publico desde hace más de 8 meses)

b) pensar si eso obliga a modificar las horquillas de puntuación por cuartiles o la politica “anti-scopus” que claramente hay actualmente o si deciden dejarlas igual

Mas de la mitad actual de Q2 IF WOS pasará a ser Q1 en el JCR 2022. Todo el Q3 actual pasará a ser Q2

Visitas: 89

Negative or Net suppression/reciprocal or cooperativa suppression in mediated or PLS- SEM models

The negative sign in the path  or weight means “negative or net suppression”. This is a common issue when using several variables correlated in the same model. The tricky issue is that all variables are positively related wth SC-Ad (se latent variable correlations in 2nd order HOC model), but you can observe a negative value in the path. How can this be possible? It is well documented in mediation analysis (i.e., Ato & Vallejo, 2011 page 558), and it is explained by the relative “impact” of the predictors on the dependent variable. The predictor less correlated with the dependent variable is used to “compensate” the “inflate” paths for the other predictors. The negative or net suppression occurs when all the variables have a high positive correlation among themselves (rXY, rXZ, rZY > 0), but the regression coefficient of one of the variables is negative. Reciprocal or cooperative suppression occurs when two variables are negatively correlated with each other, but both are positively correlated with the outcome variable.

Inconsistent Mediation (from Mediation (David A. Kenny) (davidakenny.net))

"If c' were opposite in sign to ab something that MacKinnon, Fairchild, and Fritz (2007) refer to as inconsistent mediation, then it could be the case that Step 1 would not be met, but there is still mediation. In this case the mediator acts like a suppressor variable. One example of inconsistent mediation is the relationship between stress and mood as mediated by coping. Presumably, the direct effect is negative: more stress, the worse the mood. However, likely the effect of stress on coping is positive (more stress, more coping) and the effect of coping on mood is positive (more coping, better mood), making the indirect effect positive. The total effect of stress on mood then is likely to be very small because the direct and indirect effects will tend to cancel each other out. Note too that with inconsistent mediation that typically the direct effect is even larger than the total effect."

  

Ato, M., & Vallejo, G. (2011). Los efectos de terceras variables en la investigación psicológica. Anales de Psicología, 27(2), 550-561. http://digitum.um.es/jspui/handle/10201/26561

 

Conger, A. J. (2016). A Revised Definition for Suppressor Variables: a Guide To Their Identification and Interpretation. Educational and Psychological Measurement, 34(1), 35-46. https://doi.org/10.1177/001316447403400105
Gaylord-Harden, N. K., Cunningham, J. A., Holmbeck, G. N., & Grant, K. E. (2010). Suppressor effects in coping research with African American adolescents from low-income communities. J Consult Clin Psychol, 78(6), 843-855. https://doi.org/10.1037/a0020063
Krus, D. J., & Wilkinson, S. M. (1986). Demonstration of properties of a suppressor variable. Behavior Research Methods, Instruments, & Computers, 18(1), 21-24. https://doi.org/10.3758/BF03200988
MacKinnon, D. P., Krull, J. L., & Lockwood, C. M. (2000). Equivalence of the Mediation, Confounding and Suppression Effect. Prevention Science, 1(4), 173-181. https://doi.org/10.1023/A:1026595011371

Visitas: 114

¿Quo vadis Sexenios?

Deadline disaster cartoon scene Free Vector

Paper vector created by macrovector – www.freepik.com

Igual me equivoco. Mi sensación es que los sexenios actuales, al menos en el campo donde está mi área de conocimiento, están mandando este mensaje:

“Si no eres capaz de publicar en una revista de muy alto nivel (no que realices una investigación de muy alto nivel) 5 veces en 6 años (o en una de altísimo nivel 3 veces en 6 años), deja de investigar y dedícate solo a impartir docencia”

En otra entrada de mi blog explico que, en mi caso, impartir 32 créditos (320 horas de clase presencial) implican 1500 horas de trabajo. Obviamente esta estimación es si lo haces bien: te documentas; actualizas contenidos, casos y actividades; haces evaluación formativa dando feedback y feedforward a los estudiantes (bien individual, bien colectivamente); etc.
Con 32 créditos queda muy poco margen para hacer una investigación potente. O si lo prefieres, es probable que el esfuerzo de tu investigación drene tu docencia, que se resentirá drásticamente.

Esto me crea confusión y no tengo clara cuál es la finalidad o función de los sexenios en el panorama de la investigación en España. Siempre había creído que eran un complemento retributivo. Me basaba en las batallitas que me contaron los más viejos del lugar (aquellos que vivieron en primera persona la publicación del BOE que creaba los sexenios) y tras leer los BOE fundacionales de los sexenios.

Sin embargo la utilización que se hace de los mismos actualmente me parece que encaja más con un premio competitivo de excelencia. Obviamente, las personas solicitantes no compiten con otras solicitantes. No hay un cupo de sexenios a conceder en cada convocatoria. Pero sí se compite por los escasos huecos para colocar un artículo en una revista puntera. O por conseguir ser citado, que también son unos huecos limitados (algunas revistas, o algunos revisores, imponen límites al numero de citas. Yo creo que se equivocan, pero ahí están, entre las revistas que acumulan mayor número de citas). Esta competición es contra otras personas que investigan en todo el mundo y se basa en posiciones o ránking o estadística de distribución de citas por artículo.

Por lo tanto, se me ocurren dos posibles funciones que podrían estar en la base de los sexenios. Quizás haya más, pero ahora sólo se me ocurren estas dos (y como veréis es difícil que puedan cumplir ambas, porque el modo de ponerlos en marcha es radicalmente diferente dependiendo de la función que quieres que cumplan):

A) Sexenios es una herramienta de motivación del personal docente e investigador de las universidades españolas, y puede servir, además, como una comprobación rápida de que el trabajo de investigación de 6 años es “digno”. En ese caso, es necesario: a) fijar el norte de qué es lo que se quiere potenciar y b) poner un conjunto de métricas alineadas con ese objetivo (lo que se considera un trabajo digno). En este caso, los indicadores deben ser objetivos, predecibles y fijos antes de que la persona haga la investigación. Si se cambian, deben mantenerse las dos “métricas” durante 6 años y usar la que más favorezca a la persona solicitante en ese periodo. El sistema debería ser transparente, sencillo de entender y totalmente automatizable. Se puede hacer un simulador pues, en esencia, la concesión es una decisión totalmente programada y no debe haber sorpresas, ni ambigüedades. Lo que se busca es motivar y crear pasión en un conjunto amplio de personas (miles en total, cientos en cada comisión). No se busca cabrearlas, ni frustarlas, ni ansiarlas. Si se usan evaluadores humanos con criterios subjetivos es sólo para valorar reclamaciones o para casos poco comunes.

B) Sexenios es una evaluación de la calidad de la investigación de la persona solicitante, con un criterio fundamentalmente de excelencia. Aquí encaja mucho una evaluación diversa y rica. En línea con DORA, usando un panel de expertos que pueden valorar, cualitativamente, CADA aportación de CADA solicitante y su historial en el periodo evaluado. Siempre será una evaluación impredecible (aunque sea transparente) porque se basa en juicios humanos (no algoritmos). No tengo claro si, el volumen de solicitudes permite este tipo de evaluación (no es solo que aumeten recursos, si lo hacen hay que alinear criterios de todavía más evaluadores para que no haya agravios comparativos). Tampoco sé si, en este caso B, sería aceptable establecer las métricas y los niveles “a posteriori” (cambiarlos cuando la persona solicitante ya ha realizado su investigación). Desde luego, sera mucho menos dañino que en el caso A) (motivación). Porque se asume que la excelencia es una competición con unas expectativas diferentes a la de la motivación de la fuerza laboral.

Visitas: 50