Por qué hace falta saber mucho para poder cuestionar bien

#IAgenerativa #PIME_DECIDE #docencia #evidenciasdeaprendizaje

Llevamos un año trabajando en el PIME_DECIDE (DECIDE – Design and Evaluation of Collaborative Intervention for Decision Enhancement | Blog de Juan A. Marin-Garcia) y este artículo me ha inspirado algunas ideas para poner en práctica.

Bini, G., & Quattrociocchi, W. (2026). Epistemia in the classroom: The problem of evidence of understanding in education in the age of generative AI. AI And Society. https://doi.org/10.1007/s00146-026-03227-y

Tenemos un listado provisional de 21 concepciones alternativas detectadas. Tres se conectan directamente con este artículo:

  1. Revisar superficialmente una respuesta generada por IA produce un aprendizaje equivalente al análisis personal
  2. Subrayar información es suficiente para incorporarla al conocimiento propio
  3. Tomar notas consiste principalmente en copiar o extraer fragmentos relevantes

Damos por hecho que alguien ha entendido cuando lo que dice suena bien. Eso pasaba mucho antes de que existiera la IA generativa (es un caso documentado por Erlwanger desde los años setenta). Se trata de una tendencia cognitiva anclada en mecanismos reforzados a lo largo de todo el proceso evolutivo de la especie humana.

Un fragmento que nos resulta muy útil es este:

“these interventions point towards a shift from the production of texts to their critical interrogation, understood as the ability to question claims, test arguments, compare frameworks, identify limits, confront outputs with independently grounded knowledge, and ultimately assume responsibility for what is asserted.” (Bini y Quattrociocchi, 2026, p. 9)

Este será el objetivo de la observación participante en directo en los grupos para poder capturar el proceso. 

Cuestionar algo solo es posible si ya tienes una base de conocimiento suficiente y familiaridad con las fuentes para reconocer referencias con sentido, formular preguntas y detectar lo que falta. Que es justo lo contrario de lo que se asume cuando se dice que con la IA ya no hace falta saber porque todo el conocimiento está accesible en los chats. Cuanto más parece que el sistema reduce la necesidad de producir conocimiento por tu cuenta, más se necesita ese conocimiento para ser usado críticamente. El saber no desaparece; se recoloca como recurso para cuestionar en vez de ser un fin en sí mismo (no es reproducción, es comprensión, pero para comprender necesitas tener una memoria a largo plazo densamente poblada). Esto me viene bien para reforzar los argumentos sobre qué es aprender, que llevo repitiendo en varios foros y charlas durante el último año.

El objetivo del PIME-DECIDE es fomentar el pensamiento experto basado en evidencia en las personas graduadas en Ingeniería de Organización. Medir eso es complicado y aún no contamos con un instrumento fiable. Mientras, usaremos soluciones provisionales para ir informando del progreso, con las limitaciones que eso implica y asumiendo que habrá que tirar a la basura alguna de esas soluciones en el futuro.

El artículo  es una contribución teórica, y sus autores lo dicen abiertamente. Una de las cosas que piden es precisamente comprobar si las intervenciones que hacen visible cómo se genera el producto y guían su cuestionamiento logran fomentar el aprendizaje. Eso es más o menos lo que vamos a intentar en el PIME-DECIDE el próximo curso 2026-27.

Visitas: 2

La IA en el analisis cualitativo, el significado no se mina

#IAgenerativa #análisiscualitativo

Analizar contenido cualitativo consiste en crear un árbol de códigos y temas, definirlos y organizarlos. Para ello hace falta tener criterio, y el criterio se construye codificando a mano un montón de material, equivocándote y volviendo atrás. ¿Qué le digo a alguien que  va a hacer su primer análisis cualitativo con un LLM al lado desde el minuto uno? La respuesta actual es “que primero aprenda a hacerlo sin”. Pero no sé si eso va a seguir siendo posible (o tendrá sentido) dentro de unos años.

Susanne Friese ha expresado en un post (ver referencia abajo) algo que llevo años comentando. El peligro de usar IA para codificación automática es que un código se acepte porque suene bien, un tema se quede porque se lea bien, y que el apartado de resultados acabe organizándose alrededor de un relato que propuso el modelo, no se sabe muy bien en base a qué, pero que resulta convincente porque está lingüísticamente bien construido.

Es cierto que en algunas aplicaciones se puede hacer “minería de datos”. Si los códigos y sus significados están claramente establecidos, se pueden etiquetar fragmentos que encajen con esos códigos. Es más, se podría tener una métrica de “proximidad” entre el fragmento y cada uno de los códigos.

Eso no resuelve quién decide qué constituye un fragmento (chunk). A veces lo que tiene sentido es una frase, otras es el párrafo entero, y no es sencillo entrenar un algoritmo que haga esto bien de manera universal, aunque se podría entrenar para usos o corpus específicos o con ciertas características. Por ejemplo, si estás etiquetando mensajes de Twitter (X) o Bluesky, donde tienes unos 300 caracteres como máximo, quizás el mensaje entero es “el fragmento”. Pero en textos largos, o no excesivamente bien puntuados (comas, puntos y coma, puntos), puede ser complejo de automatizar.

Si queremos que el análisis que hacemos esté justificado por los datos y por un marco de referencia, no podemos confundirlo con  “esto tiene sentido cuando lo leo” (que es lo que nos puede dar la IA). La trampa es que la IA te devuelve un texto que está (MUY)  bien escrito, casi siempre tiene sentido cuando lo lees, y eso  le da una apariencia de convincente.

En la mayoría de los casos, el significado no está enterrado en la transcripción esperando a que alguien lo extraiga. No se mina. Se construye con las preguntas que te haces o decides no hacerte, con la lente teórica desde la que miras, y con todo lo que te llevaste del contexto y que nunca entró en la grabación o el texto que estás trabajando. El silencio de tres segundos antes de responder. La persona que estaba delante y no dijo nada. El hecho de que la entrevista fuera en el despacho del jefe…

Se atribuye a Miguel Ángel la frase «La escultura ya estaba dentro de la piedra; yo, únicamente, he debido eliminar el mármol que le sobraba». Es una frase ingeniosa (y falsa) y en el análisis cualitativo pasa lo mismo.

Esto no significa que no haya usos donde la IA pueda ayudar. Susanne sugiere que proponga una lectura alternativa de un fragmento, que me señale un patrón que no había visto, y sobre todo, que me busque el pasaje que contradice un tema (que siempre hay uno, y que uno tiende a no encontrar precisamente porque acabas un poco contaminado por los datos). 

Referencia: https://www.linkedin.com/feed/update/urn:li:activity:7488533864592699392

Visitas: 2