La IA en el analisis cualitativo, el significado no se mina

#IAgenerativa #análisiscualitativo

Analizar contenido cualitativo consiste en crear un árbol de códigos y temas, definirlos y organizarlos. Para ello hace falta tener criterio, y el criterio se construye codificando a mano un montón de material, equivocándote y volviendo atrás. ¿Qué le digo a alguien que  va a hacer su primer análisis cualitativo con un LLM al lado desde el minuto uno? La respuesta actual es “que primero aprenda a hacerlo sin”. Pero no sé si eso va a seguir siendo posible (o tendrá sentido) dentro de unos años.

Susanne Friese ha expresado en un post (ver referencia abajo) algo que llevo años comentando. El peligro de usar IA para codificación automática es que un código se acepte porque suene bien, un tema se quede porque se lea bien, y que el apartado de resultados acabe organizándose alrededor de un relato que propuso el modelo, no se sabe muy bien en base a qué, pero que resulta convincente porque está lingüísticamente bien construido.

Es cierto que en algunas aplicaciones se puede hacer “minería de datos”. Si los códigos y sus significados están claramente establecidos, se pueden etiquetar fragmentos que encajen con esos códigos. Es más, se podría tener una métrica de “proximidad” entre el fragmento y cada uno de los códigos.

Eso no resuelve quién decide qué constituye un fragmento (chunk). A veces lo que tiene sentido es una frase, otras es el párrafo entero, y no es sencillo entrenar un algoritmo que haga esto bien de manera universal, aunque se podría entrenar para usos o corpus específicos o con ciertas características. Por ejemplo, si estás etiquetando mensajes de Twitter (X) o Bluesky, donde tienes unos 300 caracteres como máximo, quizás el mensaje entero es “el fragmento”. Pero en textos largos, o no excesivamente bien puntuados (comas, puntos y coma, puntos), puede ser complejo de automatizar.

Si queremos que el análisis que hacemos esté justificado por los datos y por un marco de referencia, no podemos confundirlo con  “esto tiene sentido cuando lo leo” (que es lo que nos puede dar la IA). La trampa es que la IA te devuelve un texto que está (MUY)  bien escrito, casi siempre tiene sentido cuando lo lees, y eso  le da una apariencia de convincente.

En la mayoría de los casos, el significado no está enterrado en la transcripción esperando a que alguien lo extraiga. No se mina. Se construye con las preguntas que te haces o decides no hacerte, con la lente teórica desde la que miras, y con todo lo que te llevaste del contexto y que nunca entró en la grabación o el texto que estás trabajando. El silencio de tres segundos antes de responder. La persona que estaba delante y no dijo nada. El hecho de que la entrevista fuera en el despacho del jefe…

Se atribuye a Miguel Ángel la frase «La escultura ya estaba dentro de la piedra; yo, únicamente, he debido eliminar el mármol que le sobraba». Es una frase ingeniosa (y falsa) y en el análisis cualitativo pasa lo mismo.

Esto no significa que no haya usos donde la IA pueda ayudar. Susanne sugiere que proponga una lectura alternativa de un fragmento, que me señale un patrón que no había visto, y sobre todo, que me busque el pasaje que contradice un tema (que siempre hay uno, y que uno tiende a no encontrar precisamente porque acabas un poco contaminado por los datos). 

Referencia: https://www.linkedin.com/feed/update/urn:li:activity:7488533864592699392

Visitas: 2