Por qué hace falta saber mucho para poder cuestionar bien

#IAgenerativa #PIME_DECIDE #docencia #evidenciasdeaprendizaje

Llevamos un año trabajando en el PIME_DECIDE (DECIDE – Design and Evaluation of Collaborative Intervention for Decision Enhancement | Blog de Juan A. Marin-Garcia) y este artículo me ha inspirado algunas ideas para poner en práctica.

Bini, G., & Quattrociocchi, W. (2026). Epistemia in the classroom: The problem of evidence of understanding in education in the age of generative AI. AI And Society. https://doi.org/10.1007/s00146-026-03227-y

Tenemos un listado provisional de 21 concepciones alternativas detectadas. Tres se conectan directamente con este artículo:

Revisar superficialmente una respuesta generada por IA produce un aprendizaje equivalente al análisis personal
Subrayar información es suficiente para incorporarla al conocimiento propio
Tomar notas consiste principalmente en copiar o extraer fragmentos relevantes

Damos por hecho que alguien ha entendido cuando lo que dice suena bien. Eso pasaba mucho antes de que existiera la IA generativa (es un caso documentado por Erlwanger desde los años setenta). Se trata de una tendencia cognitiva anclada en mecanismos reforzados a lo largo de todo el proceso evolutivo de la especie humana.

Un fragmento que nos resulta muy útil es este:

“these interventions point towards a shift from the production of texts to their critical interrogation, understood as the ability to question claims, test arguments, compare frameworks, identify limits, confront outputs with independently grounded knowledge, and ultimately assume responsibility for what is asserted.” (Bini y Quattrociocchi, 2026, p. 9)

Este será el objetivo de la observación participante en directo en los grupos para poder capturar el proceso.

Cuestionar algo solo es posible si ya tienes una base de conocimiento suficiente y familiaridad con las fuentes para reconocer referencias con sentido, formular preguntas y detectar lo que falta. Que es justo lo contrario de lo que se asume cuando se dice que con la IA ya no hace falta saber porque todo el conocimiento está accesible en los chats. Cuanto más parece que el sistema reduce la necesidad de producir conocimiento por tu cuenta, más se necesita ese conocimiento para ser usado críticamente. El saber no desaparece; se recoloca como recurso para cuestionar en vez de ser un fin en sí mismo (no es reproducción, es comprensión, pero para comprender necesitas tener una memoria a largo plazo densamente poblada). Esto me viene bien para reforzar los argumentos sobre qué es aprender, que llevo repitiendo en varios foros y charlas durante el último año.

El objetivo del PIME-DECIDE es fomentar el pensamiento experto basado en evidencia en las personas graduadas en Ingeniería de Organización. Medir eso es complicado y aún no contamos con un instrumento fiable. Mientras, usaremos soluciones provisionales para ir informando del progreso, con las limitaciones que eso implica y asumiendo que habrá que tirar a la basura alguna de esas soluciones en el futuro.

El artículo es una contribución teórica, y sus autores lo dicen abiertamente. Una de las cosas que piden es precisamente comprobar si las intervenciones que hacen visible cómo se genera el producto y guían su cuestionamiento logran fomentar el aprendizaje. Eso es más o menos lo que vamos a intentar en el PIME-DECIDE el próximo curso 2026-27.

Los LLMs no recuerdan (las personas tampoco): estrategias para trabajar con memoria limitada

Mis “take away” de la lectura de esta entrada de blog de Ethan Mollick:

Los LLM son aduladores y lisonjeros por naturaleza, tienes que pedirles que sean críticos o “destructivos” para intentar que hagan análisis más ecuánimes. Pero nunca tendrás la seguridad de que te detecten todos los errores o te manifiesten abiertamente todas las cosas negativas, sobre todo si están analizando una propuesta que es un bodrio sideral
Los LLM no tienen memoria a largo plazo. Cada plataforma tiene estrategias distintas para lidiar con el problema de superar la ventana de contexto. ChatGPT usa un FIFO (que, si estás conversando de manera iterativa profundizando sobre el mismo concepto, te da buen resultado porque realmente lo que importa es lo último en lo que estás trabajando). Claude hace “borrón y cuenta nueva”, pero antes, cuando detecta que se queda sin contexto, compacta la conversación (y la documentación subida), la guarda, inicia una nueva instancia y coge como punto de partida el resumen y, a partir de ahí, empieza a trabajar de nuevo. La forma en que trabaja CLAUDE es exactamente el modo que yo trabajo cuando tengo tareas con tiempo fragmentado (Que no puedo completar en una sesión de trabajo), por eso supongo que me gustan más los resultados que me da Claude que los de ChatGPT
Además de lo anterior, el uso de Skills y Agents permite aliviar el problema de la memoria de contexto. Solo se activa lo que necesitas para una tarea y, además, puedes activar “hilos” en paralelo (cada uno con su propia memoria de contexto libre para ese hilo) que se comunican entre sí (los resultados de unos son las entradas para otros). Es una forma modular y analítica de resolver tareas (algo que yo también hago de manera natural: divido en subtareas que me caben en tiempo fragmentado y guardo la “preparación” intermedia para alimentar otras tareas)

He tenido que rebuscar un poco para clarificar los conceptos de skill y agent, este es mi resumen:

Skill (instrucciones/prompts y herramientas para realizar una tarea concreta)
- Instrucción: descripción de cuándo usar el skill (ej. “Usa esto cuando la usuaria pregunte por X”)
- Herramienta: un trozo de código, una API o una función (ej. buscar en Google, calcular una hipoteca)

Agent (deciden (razonar, planificar) qué herramienta usar, en qué orden las usan y qué hacer si algo sale mal). Puedes activar varios agentes en paralelo
- Sigue un ciclo o un proceso: Analiza la meta: “¿Qué me han pedido?”; Planifica: “¿Qué pasos necesito y qué Skills debo usar?”; Ejecuta: Usa una Skill; Observa: “¿El resultado es lo que esperaba?”; Itera: Repite hasta terminar

Reflexion sobre tecnologia

He leído varios blogs estos días donde me ha parecido que sus autoras-es se quejaban de que los “copilotos IA” están mal diseñados y que son los culpables de todos los malos usos que se les están dando. Igual no es lo que querían decir, pero es el mensaje que me ha calado.

Esto me ha llevado a dos reflexiones:

Mejor llamarle herramienta porque no es un copiloto, por mucho que sus desarrolladores quieran denominarlo así porque vende mejor o más
El problema no es del “copiloto”. El problema es del piloto. Si el piloto decide estrellar el barco contra el iceberg, no es problema del barco ni del iceberg. Las tecnologías no son «neutras», eso es cierto, pero el uso (o no uso) que decide darles cada persona es lo que determina el impacto.

Hechos, inferencias, opiniones y percepciones (no es todo lo mismo)

Como diría Alejandro Sanz, no es lo mismo. Por mucho que en el día a día, en las conversaciones o en las decisiones, eso que llamamos “la gente” (que no deja de ser un eufemismo para evitar reconocer que “la gente”, como hacienda, somos todos) parece querer convencernos, y convencerse, de que sus opiniones son inferencias basadas en hechos, cuando son solo opiniones.

Como estas tres palabras representan claramente cosas distintas, voy a detallar en esta entrada qué son y dar algunos ejemplos de cada una, para intentar, en la medida de lo posible, que en el futuro llamemos a las cosas por su nombre, evitando considerarlas como sinónimos.

Hechos

Un hecho es una afirmación que describe algo que ha ocurrido o está ocurriendo. Los hechos pueden comprobarse mediante observación directa, medición, documentación o evidencia empírica, de modo que son verificables de manera objetiva e independiente de las opiniones (o de la persona que observa el hecho). De modo que diferentes observadores pueden llegar al mismo resultado al porque describen “qué es” o “qué pasó”, y no “qué debería ser” o “qué les gustaría que fuera”.

Ejemplos de hechos: “la temperatura es de 25°C”, “María tiene 30 años”, “el experimento produjo 50ml de solución”, “la empresa tuvo pérdidas de 1 millón de euros en 2024”.

Inferencias

Las inferencias son conclusiones lógicas que se derivan de hechos (evidencias, datos o premisas disponibles) mediante un proceso de razonamiento. Las inferencias pueden evaluarse y resultar correctas o incorrectas. Su validez depende de la calidad del razonamiento y de la (veracidad) de las evidencias o premisas usadas en el razonamiento.

Por ejemplo: “si llueve, las calles estarán mojadas” o “como las ventas disminuyeron un 30% este trimestre, probablemente necesitamos revisar nuestra estrategia de marketing”.

Debemos tener en cuenta que los hechos pueden interpretarse de diferentes maneras. Es decir, podemos extraer diferentes inferencias. El hecho “Las ventas bajaron un 30%” es verificable, pero las interpretaciones sobre por qué bajaron (“fue por la mala estrategia de marketing”) ya son una inferencia que debe contrastarse adicionalmente (no basta que el hecho sea verificado y cierto para que la inferencia lo sea).

Opiniones

Las opiniones son juicios de valor o puntos de vista personales que reflejan preferencias, creencias, sentimientos o valoraciones subjetivas. Las opiniones están influidas por experiencias personales, valores, cultura y emociones. Pueden ser válidas para quien las expresa, pero no pueden demostrarse como verdaderas o falsas de manera objetiva.

Por ejemplo: “esta clase es aburrida”, “el lean es mejor que la Gestión de Operaciones tradicional”, o “deberíamos invertir más en formación de empleados”.

Percepciones

Interpretaciones subjetivas e inmediatas de la realidad, filtradas por nuestros sentidos, experiencias y marcos mentales. A diferencia de los hechos, dos personas pueden tener percepciones distintas del mismo evento. A diferencia de las opiniones, no siempre son juicios de valor conscientes. A diferencia de las inferencias, no requieren razonamiento deliberado.

La clave está en reconocer que “yo percibo X” no significa que X sea un hecho, pero tampoco invalida la experiencia de quien percibe.

¿Te da miedo que la IA sea mejor que tus estudiantes? A mí no

He comparado la respuesta de Claude-sonnet-4 y las de 4 grupos de estudiantes de máster (5 personas en cada grupo) con un caso que he preparado como diagnóstico inicial para comprobar las competencias de mis estudiantes el primer día de clase.

Mis estudiantes han estado trabajando 2 horas sobre un caso de 5 páginas donde su tarea estaba descrita en un párrafo y el resto era información de contextualización.

El Prompt usado con Claude-sonnet-4 en poe.com era simplemente el párrafo de descripción de la tarea a realizar sin ningún contexto adicional (ni de nivel de estudios, ni de contexto… nada).

“resuelve este caso “”Formas parte de un proyecto que pretende alinear el uso de Inteligencia Artificial (IA) con los valores y objetivos estratégicos de la UPV, de modo que la IA ayude a construir
en lugar de minar el futuro que queremos ser.
Como grupo, debéis manifestar vuestro punto de vista, como estudiantes universitarios,
sobre cómo percibís la IAgen, explorar los problemas o inquietudes que os genera en los
diferentes usos o funciones en las que os afecta como estudiantes en la universidad y
clasificarlos/filtrarlos. Para acabar proponiendo un listado de recomendaciones (o guías)
de uso que sugerís para resolver las causas que originan los problemas que consideráis
como principales y un plan para la implementación de esas recomendaciones.”””

Todos los grupos de estudiantes, en lugar de hacer unas guías para estudiantes, han hecho recomendaciones para la universidad o sus equipos directivos. Claude-sonnet-4 ha cometido exactamente el mismo error en la primera iteración. No obstante, su informe ha sido mucho mejor que el de cualquiera de los grupos.

Le he pedido a la IA una segunda iteración: “las recomendaciones que has dado son para la institución, no has respetado la tarea que era crear recomendaciones para los estudiantes. Por otra parte, ajusta el reporte al modelo triple diamante”. En este caso ha clavado las recomendaciones, aunque su interpretación de lo que era el “framework” de triple diamante dejaba mucho que desear, pero le hubiera puesto un 5 o un 6 de nota a ese ejercicio (los ejercicios de mis estudiantes no creo que pasen de un 2 o un 3, pero a ellos no les he dado la oportunidad de repetirlo).

Conclusión:

Cuando les pido a mis estudiantes, a PRINCIPIO de curso que resuelvan un caso y les valoro en base a los resultados de aprendizaje que esperaría que tuvieran a FINAL de curso, la IA generativa les da “mil vueltas” (o por lo menos una decena).

Lo interesante aquí es qué pasará al final del curso cuando mis estudiantes hayan superado los resultados de aprendizaje esperados. La IA generativa no mejorará su nota de 5-6 (salvo que estemos ante un nuevo modelo), entonces creo que serán mis estudiantes los que le darán mil vueltas a la IA generativa.

DECIDE – Design and Evaluation of Collaborative Intervention for Decision Enhancement

Extended Title: Action research on designing materials, protocol, and feasibility of a complex intervention to foster critical thinking and apply the triple diamond framework in group decision-making.

This project aims to enhance students’ critical thinking and decision-making skills by developing, testing, and refining a structured group decision-making framework called the triple diamond. It focuses on identifying misconceptions that hinder students’ use of this framework and improving pedagogical interventions through active, collaborative learning and evidence-based methodologies.

Project scope and participants: The innovation will be implemented across multiple courses in engineering, logistics, and business master’s programs, involving diverse student groups facing recurring difficulties in applying structured decision-making methods.
Problem identification: Students consistently rely on intuitive rather than structured approaches in group decisions, struggling to apply the triple diamond framework despite repeated instruction and practice. This issue is persistent and mirrors challenges observed in professional settings.
Theoretical foundations: The project integrates concepts of misconceptions, knowledge elicitation, threshold concepts, and decoding the discipline to reveal and address barriers to expert-like thinking in decision processes. It emphasizes the reorganization of knowledge fragments rather than the mere replacement of incorrect ideas.
Learning objectives: Students will learn to manage group decision processes using the triple diamond, define tasks and prioritization criteria explicitly, analyze innovation competencies, and develop reasoned, evidence-based reports, all enhancing critical thinking skills.
Methodology: The project employs active and collaborative learning through structured three-hour classroom dynamics complemented by autonomous preparatory work. It incorporates innovative visual case representations, reflective learning journals, and think-aloud protocols to elicit student thinking and identify misconceptions.
Expected outcomes: These include identifying common misconceptions, adapting and developing rubrics for assessment, quantifying students’ valuation of innovation competencies, improving decision quality and reducing cognitive biases, and evaluating the impact of different case presentation formats on engagement and critical thinking.
Work plan and tools: The two-year plan details tasks such as material development, rubric adaptation, protocol design, experimental validation, and dissemination through academic articles and conferences. Project management uses O365 tools with regular team meetings and quality control processes.
Evaluation strategy: Evaluation includes measuring the number and categorization of misconceptions, rubric validation, analysis of student preferences and clusters, transferability assessments, pre-post intervention comparisons, and engagement metrics using established models. Data collection involves think-aloud sessions, forum analyses, and observations.
Impact and dissemination: The project aims to improve teaching and learning by making decision-making processes transparent and evidence-based, enabling transfer across disciplines and formats, including MOOCs. Results will be shared via conferences, indexed publications, online platforms, and social media, ensuring broad accessibility and adoption.

#PI-DECIDE