Como evaluar en la universidad en la época del chargpt (IA generativa)

En las VI Jornadas FOLTE. La universidad de hoy: una visión integrada de la tecnología y la pedagogía celebradas el 6 de julio de 2023 había una ponencia que me interesaba especialmente: Artificial Intelligence for Assessment. Hoy la he visto en YOUTUBE.

En la parte de exposición no he encontrado nada que me sorprenda (es cierto que llevo como 2 años intensos trabajando sobre el uso de IA en aprendizaje y muchos más reflexionando sobre pedagogía universitaria y es difícil sorprenderme, aunque hay personas como Javier Paricio que suelen hacerlo con frecuencia).

En la ronda de preguntas, alguien quería saber “¿cómo hay que evaluar ahora?” La respuesta que dio la ponente fue más allá y no solo habló de cómo evaluar, sino de cómo usar el tiempo de clase, ahora que la IA generativa se ha popularizado (puedes verlo a partir de este momento de la presentación). Resulta que es exactamente como yo imparto mis clases desde 2003.

Por un lado, me tranquiliza (no tengo una urgencia rabiosa por actualizar mi docencia para el curso que viene). Por otro, me cuestiona mi labor como divulgador científico que ha dedicado una parte importante de su carrera a reflexionar sobre el papel del profesorado en el aprendizaje universitario. Creo que no he tenido nada de éxito en este campo. Ni siquiera en mi entorno inmediato (la UPV) parece haber calado este mensaje y desde luego en la universidad española no ha calado nada (y por eso ahora hay tanta gente “nerviosa” por la que se nos viene encima).

En fin, supongo que ahora me toca cambiar y empezar a usar un método, que sea el que lo pete dentro de 30 años (o si no, la próxima ola sí que me arrastrará a mi).

Visitas: 169

Debate interesante sobre docencia universitaria (extraído de linkedin)

Me gustan las cosas que leo en este articulo corto “querido profesor, nos lo están pidiendo a gritos….“,  como respuesta a éste otro “Querido alumno universitario de grado: Te estamos engañando”.  Sobre todo, porque me recargan de esperanza (dicen que me caí en la marmita de esta extraña poción cuando era pequeño, pero agradezco de vez en cuando un chupito).
Por añadir un matiz que contribuya a lo que comenta Asier, a mí me gusta recalcar que busco potenciar la “actividad neuronal” en mis clases. Lo hago para que no se confunda con que mis estudiantes solo “se muevan en al aula” o que “hagan cosas diferentes de tomar apuntes”. Solo eso no convierte la clase en activa. Debo (o a eso aspiro) ayudarles a que se creen nuevos conocimientos/habilidades/actitudes (aunque sea micro cambios en una sesión) y/o se conecten de forma distinta los conocimientos/habilidades/actitudes que ya poseen. Eso es para mi la esencia de las metodologías activas (todo lo demás son herramientas, más o menos llamativas, que no siempre “activan” demasiado 😉 ).

Visitas: 37

Las horas que invierto cuando hago docencia tipo taller en lugar de lección magistral

Por casualidad me acabo de tropezar con el material de un curso que impartí hace 13 años (Marin-Garcia, J.A. (2010). La evaluación ante el reto de los nuevos planes de estudio. Curso del ICE. Universidad Politécnica de Valencia. Valencia.)
Podéis ver la diferencia de carga de trabajo del profesor cuando hago Lección Magistral a cuando hago taller. PD. soy tan “idiota” que desde hace mas de 20 años TODA la docencia que imparto es tipo taller.

#aprendizaje_activo #workshop #leccionMagistral #lecture

Visitas: 26

Numero de revistas en Scopus y en WOS

Tras acabar de impartir la sesión en un curso reciente, sobre como publicar investigación sobre aprendizaje en la universidad, me he quedado con el “runrun” al ver 40.000 revistas en Scopus esta mañana, porque yo recordaba que serían unas 25.000

Numero total de revistas Scopus en diciembre de 2022

Aquí lo explica (Profesional de la información » Blog Archive » ¿Cuántas revistas tiene indexadas Scopus? (profesionaldelainformacion.com) y confirma mi intución. Es que 40.878 es el historico de toda la vida de Dios (Desde 2011) pero hay 14.000 inactivas.

Por otra parte, en diciembre de 2022 hay 21.494 revistas en Core Colection (las del JCR) pero SOLO 13.840 reciben de momento Factor de Impacto (todas las demás reciben una métrica alternativa JCI). A partir de junio de 2023 (es decir el JCR de 2022) TODAS las revistas Core Collection de WOS recibirán factor de impacto. Es decir que un 50% de nuevas revistas entrarán a competir. Eso generará un vuelco en las clasificaciones. (porque automáticamente los cuartiles pasarán a tener un 50% más de revistas. Actualmente en Q1 hay unas 3500 revistas y pasará a haber 5.500 revistas. Algunas de las que entran, entrarán en Q2-Q3 (no van a entrar todas en la cola, ya os lo aseguro)

Dado que, para muchas personas investigadoras, el principal criterio para elegir revista sea el IF (que no creo que sea el mejor criterio para elegirla, pero entiendo que estéis obsesionados/as con eso), que sepáis se habrá varios años turbulentos. hasta que las comisiones sean capaces de:

a) enterarse de que esto va a pasar (os asombraréis, pero la mayoría ni lo sabe, aunque sea algo publico desde hace más de 8 meses)

b) pensar si eso obliga a modificar las horquillas de puntuación por cuartiles o la politica “anti-scopus” que claramente hay actualmente o si deciden dejarlas igual

Mas de la mitad actual de Q2 IF WOS pasará a ser Q1 en el JCR 2022. Todo el Q3 actual pasará a ser Q2

Visitas: 29

Definición de objetivos, resultados de aprendizaje y competencia

Hay muchas definiciones de estos conceptos que se entrelazan y dificultan el diferenciarlos con claridad.

De momento, yo me quedo con estas definiciones que da Gairín (2009) en sus páginas 15 a 17. Si en el futuro encuentro alguna mejor ya actualizaré la entrada:

Objetivos: afirmaciones relativas a la docencia, redactadas desde el punto de vista de aquello que intentará cubrir el profesorado con un determinado bloque de aprendizaje (módulo, materia, asignatura, etc.). Están escritos desde el punto de vista del profesor. Pueden incluir conocimientos y habilidades de manera aislada.

Resultados de aprendizaje: afirmaciones sobre las que se espera que un estudiante pueda conocer, comprender y ser capaz de demostrar después de haber completado un proceso de aprendizaje (módulo, asignatura, materia, curso, etc.). Se centran en lo que el estudiante ha alcanzado en vez de en cuáles son las intenciones del profesor. Se centran en aquello que puede demostrar el estudiante al finalizar la actividad de aprendizaje. Pueden incluir conocimientos y habilidades aisladamente. De la misma manera que los objetivos, se pueden describir al finalizar cualquier unidad (módulo, asignatura, etc.)

Competencias: implican el uso integrado de conocimientos, habilidades y actitudes en la acción. Por su naturaleza, solo se podrán alcanzar en estadios finales del proceso educativo (prácticum, trabajo final de estudios, etc.)

Gairín, J. Ed. (2009) “Guía para la evaluación de competencias en el área de Ciencias Sociales.” Barcelona,: Agència per a la Qualitat del Sistema Universitari de Catalunya. Accesible en: http://www.aqu.cat/doc/doc_14646947_1.pdf

Visitas: 666

Diagrama de Eishenhower de actividades del profesor universitario

Estoy embarcado en una investigación (Action Research) sobre barreras y facilitadores para la investigación (innovación) sobre aprendizaje, por parte del personal docente e investigador (PDI) de universidades españolas. Es decir, cosas que ayudan o frenan a que los PDI investiguemos sobre la docencia/aprendizaje en nuestras asignaturas.

El origen de esta investigación es la constatación de que los PDI “no pedagogos” apenas publicamos los resultados de nuestra investigación sobre aprendizaje (Marin, 2018). Lo que me hace sospechar que, en el fondo, ni investigamos, ni reflexionamos, ni innovamos en este aspecto. Esta sospecha está alentada porque casi nunca oigo hablar a mis “compañeros“ de la docencia basada en evidencia (o el scholarship, que podría ser un sinónimo). La docencia basada en evidencia (EB-learning) se basa en investigar sobre cómo aprenden nuestros alumnos nuestras asignaturas y publicar en revistas ( o difundir por otros medios) los resultados de dichas investigaciones.

Es posible que haya PDI que no investiguen sobre aprendizaje porque no tienen ninguna duda de como abordar/enfocar su docencia en ningún momento, ni en ninguna de sus asignaturas: tienen muy claro qué objetivos de aprendizaje busca; y  qué contenidos/ desarrollo de habilidades y actitudes pretende en sus alumnos, qué secuencia, qué métodos de impartición y de evaluación y qué recursos son los más adecuados para que los alumnos alcancen esos objetivos. Y cuando las cosas cambian -planes de estudio, aulas, madurez de los alumnos….- no tienen ningún problema en encontrar el nuevo ajuste en todas esas variables. Asumo con cierta envida (sana, si existe la envidia de ese tipo), que son seres afortunados y entiendo que no investiguen en algo que no les aporta ningún valor.

Otros PDI pueden considerar que la docencia no es relevante/importante porque son INVESTIGADORES y cualquier otra cosa es quitar tiempo a su importante función de investigar. Tampoco me veo representado en este colectivo.

Yo creo que los PDI de universidades públicas españolas somos esencialmente docentes. O si lo preferís, entre un 50% y un 100% de nuestro tiempo se espera que seamos unos docentes dignos (en esta entrada del blog planteo algunos escenarios sobre esto y en esta otra lo matizo). No me atrevo a decir lo que deben ser los PDI de otros países o de universidades privadas. Pero considerando que los presupuestos de la universidad (al menos la mia) llegan en un 90% por alumnos matriculados; y que según “decreto Wert” (a falta de un estatuto del PDI claro en estas cuestiones), nos pagan por 1.700 horas/año que son equivalentes a 32 ECTS-docentes (un sexenio activo lo equiparan a 8 ects-docentes y 3 (ó 4) sexenios a 16 ECTS-docentes). Por lo tanto, la investigación (toda la actividad investigadora, tanto docente y del área) puede llegar a suponer entre un 25% y un 50% de nuestra paga/dedicación, dependiendo del numero de sexenios ACTIVOS y nuestra categoría profesional (CU o “no CU”).

 

Resumiendo,yo me considero un docente (al menos el 66% de mi tiempo remunerado) y tengo dudas sobre muchos aspectos de mi docencia; y creo que investigar sobre ello me convertiría en un mejor profesional. Además considero que esto es extensible a todas las personas que comparten mi profesión. De modo que hay cosas que me interesa analizar.

Lo primero que he hecho es intentar conocer donde invertimos nuestro tiempo. De momento tengo unos datos que no son generalizables, porque la muestra es muy pequeña y de conveniencia (33 profesores del área de conocimiento de “organización de empresas”). La imagen muestra estos resultados preliminares que confirman que no se dedica mucho tiempo a investigar en docencia/aprendizaje o en innovar en este tema. Aunque se percibe como una actividad de importancia moderada-alta.

Mi siguiente paso (estoy en ello) es identificar las barreras y facilitadores y escribir un artículo sobre el tema (os iré informando).

Referencias

  • Marin-Garcia, J. A. (2018). What are the research focuses regarding learning in the field of operations management in higher education? The case of spain in 2017. Journal of Industrial Engineering and Management, 11(4), 607-616. doi:http://dx.doi.org/10.3926/jiem.2550
  • Ramio, C. (2014). Manua para los atribulados profesores universitarios. Madrid: CATARATA.

Visitas: 8

Publicado: Marin-Garcia, J. (2018). What are the research focuses regarding learning in the field of operations management in higher education? The case of Spain in 2017. Journal of Industrial Engineering and Management, 11(4), 607-616. doi:http://dx.doi.org/10.3926/jiem.2550

Publicado: Marin-Garcia, J. (2018). What are the research focuses regarding learning in the field of operations management in higher education? The case of Spain in 2017. Journal of Industrial Engineering and Management, 11(4), 607-616. doi:http://dx.doi.org/10.3926/jiem.2550

Purpose: What are the current research topics being studied by higher education professors in the area of operations management in Spain with regard to the learning of their students? Are the approaches that support these investigations adequate?

Design/methodology/approach: For the analysis, we have selected 25 publications in peer-reviewed scientific journals published by Spanish authors in 2017, and we have encoded them using Atlas.ti.

Findings: Most of the research centers on a very basic type of approach to learning, which reproduces the type of research typically conducted more than 40 years ago (type 1). For this reason, we propose an example of how to convert type 1 research questions into type 2 or 3 questions.

Originality/value: This paper collects and summarizes the main works on learning research carried out by members of ACEDEDOT and published in 2017, identifying themes, methods, levels of teacher conception and focus on the type of student learning. We intend to use this information to create a map of the current situation and propose possible suggestions to implement evidence-based instruction on operations management.

Keywords

scholarship, student learning, student engagement, higher education

Visitas: 16

¿La evaluación por competencias es algo más que evaluar conocimientos, habilidades y/o actitudes?

De momento sólo planteo la pregunta porque no tengo una respuesta clara al respecto por eso está, de momento en “preguntas no resueltas” . Cuando tenga alguna respuesta modificaré esta entrada.

En las organizaciones cada vez se habla más de gestión del talento y eso, de alguna manera, implica gestionar las competencias de los trabajadores. Soy de los que opinan que lo que no se puede medir, difícilmente se puede gestionar. O, dicho de otro modo, dime cómo mides y te diré realmente qué estás gestionando. Por otra parte, las universidades publicas españolas están queriendo moverse a un modelo de evaluación de competencias. De momento sólo es algo que aparece en las memorias de verificación de títulos, donde las competencias tienen un papel prioritario. Sin embargo, no parece que los profesores “de a pie”, los que están a cargo de las asignaturas que se imparten tengan muy claro cómo trabajar en este “nuevo” entorno y parece que se reproducen los sistemas o métodos tradicionales.

Por eso me parece relevante reflexionar sobre ¿Qué es la evaluación por competencias? Y, sobre todo, ¿cómo se realiza una adecuada evaluación por competencias?

Visitas: 17

Publicado-Marin-Garcia & EtAl (2016) Proposal of a Framework for Innovation Competencies Development and Assessment (FINCODA)

Marin-Garcia, J., Andreu Andres, M., Atares-Huerta, L., Aznar-Mas, L., Garcia-Carbonell, A., González-Ladrón-de-Gevara, F., Montero Fleta, B., Perez-Peñalver, M., & Watts, F. (2016). Proposal of a Framework for Innovation Competencies Development and Assessment (FINCODA). WPOM-Working Papers on Operations Management, 7(2), 119-126. doi:http://dx.doi.org/10.4995/wpom.v7i2.6472

In this article we propose an innovation competence model of the people which is based on the existing literature to integrate and complement existing models. The main contribution of this work consists in demonstrating the differences and similarities of current models and in providing a conceptual definition for each model element. In this way, both researchers and people in charge of human resources in companies obtain a framework with which to design measuring instruments to assess innovation competence, which can fulfill the twofold demand of validity and reliability.

This work has been conducted as part of a European project financed by the European Union [“FINCODA” Project 554493-EPP-1-2014-1-FI-EPPKA2-KA] (http://bit.ly/FINCODA-EUsite01). (The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein); and by the Universitat Politénica de Valencia PIME/2015/A/009/A “Evaluation of innovative behavior indicators in university students”.

Cartton abstract

Keywords

competence assessment; innovation; model; literature review

Visitas: 18