Participando en V Workshop OMTech – Universidad de Navarra

La V edición de Workshop OMTech – Universidad de Navarra no sólo ha cumplido, sino que también ha superado mis expectativas. He escuchado cosas muy interesantes y me vuelvo con nuevas ideas, algunas cosas para probar en mis asignaturas, inquietudes de investigación, varias referencias interesantes que ya estoy leyendo y, sobre todo, estoy a la espera de los full papers» que pueden aportar información relevante para el avance de la investigación y práctica sobre docencia universitaria en dirección de operaciones.

SCImago Journal & Country Rank vs Journal Citation Report (JCR). ¿Dos caras de la misma moneda?

En primer lugar quiero remarcar que me parece insensato valorar la calidad de la producción científica de un investigador utilizando el factor de impacto como instrumento de medida. El factor de impacto es, con todas sus limitaciones, un indicador para medir el impacto de las revistas. Para medir el impacto de las aportaciones personales deberían usarse otros índices, no exentos de problemas, pero mucho más adecuados que el factor de impacto. Por ejemplo, el índice h. Os recomiendo leer Quindós (2009) Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice h(irsch), el valor Q y otros cofactores que influyen en la felicidad del investigador como ejemplo de los múltiples artículos y reflexiones en esta línea. También podéis leer San Francisco Declaration on Research Assessment DORA y China’s publication bazaar.

Tanto si se mide el impacto del investigador con índice h o como con el factor de impacto de las revista en las que publican, desde hace tiempo me vengo preguntando por qué SCImago Journal & Country Rank sigue siendo un listado de «segunda fila» y las comisiones evaluadores se empecinan en dar más valor a los datos proporcionados en el Journal Citation Report (JCR) que en SCImago Journal & Country Rank. Sin duda ambos calculan el índice h de la misma forma (pero incluyendo sólo las revistas de la base de datos de Scopus o de la de web Of Knowledge, lo que es siempre incompleto). Aparentemente ambos usan métodos similares para calcular sus factores de impacto y son igual de robustos y serios. Aunque SCImago usa una métrica diferente para hacer el ranking de revistas. Métrica que, curiosamente, han desarrollado unos colegas de universidades españolas (Granada, Estremadira, Carlos III y Alcalá de Henares) y el Consejo Superior de Investigaciones Científicas (CSIC) .

Por otra parte, el proceso de admisión de revistas parece más claro y transparente en Scimago/Scopus que en JCR/WoK-Thompson. Ademas, en Scopus parece haber una sensibilidad especial hacia las revistas europeas. Es decir, hay más presencia de revistas europeas que en WoK-Thompson. Si a eso añadimos que las revistas publicadas en Europa, de management y otras ciencias donde el aspecto cultural sea importante, tienen más tendencia a publicar investigaciones realizadas en el contexto europeo; lo lógico sería pensar que, en los organismos de evaluación españoles, ambos listados deberían tener el mismo peso o, en todo caso, tener más peso SCImago Journal & Country Rank que Journal Citation Report (JCR). Aunque solo sea porque Scimago (que es reconocido mundialmente) lo han parido compatriotas nuestros. Me resulta tan extraño que los mismos españoles despreciemos lo que producimos mientras que fuera lo consideran un buen producto…. Es una forma rara de promocionar la marca España.

Aunque poco a poco los Boletines Oficiales van incorporando a ambos listados como referente de la calidad de las revistas, en la práctica se da un peso mayor a las revisas de JCR que a las de SCImago. Parece que es habitual que se considere equivalente ser un Q1 (primer cuartil) en SCImago con ser un Q2 o Q3 en JCR.

Hasta hoy no tenía ningún argumento para este ¿sinsentido? Pero esta mañana me han comentado que en algunas áreas (como matemáticas), la politica de SCImago de clasificación de revistas puede generar una distorsión en los rankings. En SCImago una revista puede pertenecer a varias categorías y en cada una de ellas recibe un ranking (Q1 a Q4) comparando su factor de impacto con las otras revistas de la categoría. Si alguna categoría acaba siendo muy heterogénea (incluye revistas muy dispares con políticas de citación diferentes) puede distorsionar el ranking de esa categoría. En JCR, aunque una revista pueda esta clasificada en varias categorías, sólo se estable su ranking (T1 a T3) en la categoría principal. Y, parece ser que en determinadas áreas las categorías principales de JCR son más homogéneas y generan unos rankings más claros o, al menos, más parecidos a los que siempre se habían tenido.

No se si este asunto de la heterogeneidad de las categorías afecta a todas las áreas o sólo unas pocas. En especial, me gustaría saber si en las áreas de Business, Management and Accounting (miscellaneous) , Education , Decision Sciences (miscellaneous) , Industrial and Manufacturing Engineering, Strategy and Management , Management of Technology and Innovation, Organizational Behavior and Human Resource Management los rankings pueden verse afectados por errores de clasificación de las revistas o si «son todas las que están», porque en el segundo caso no habría ningún motivo para seguir discriminando a SCImago Journal & Country Rank como se está haciendo en la actualidad .

PD: parece haber cierta evidencia que en áreas como márketing los listados ScimagoJCR y JCR generan unos rankings muy similares (correlación de 0.81) (ver Richard et al, 2012)

Me adhiero a San Francisco Declaration on Research Assessment DORA

Acabo de firmar mi adherencia a la San Francisco Declaration on Research Assessment DORA- http://am.ascb.org/dora/

Por ello como investigador, me comprometo a:

1. Do not use journal-based metrics, such as Journal Impact Factors, as a
surrogate measure of the quality of individual research articles, to assess an
individual scientist’s contributions, or in hiring, promotion, or funding decisions.

15. When involved in committees making decisions about funding, hiring, tenure, or
promotion, make assessments based on scientific content rather than publication
metrics.
16. Wherever appropriate, cite primary literature in which observations are first
reported rather than reviews in order to give credit where credit is due.
17. Use a range of article metrics and indicators on personal/supporting statements,
as evidence of the impact of individual published articles and other research
outputs.
18. Challenge research assessment practices that rely inappropriately on Journal
Impact Factors and promote and teach best practice that focuses on the value
and influence of specific research outputs.

Y, como editor de la revista WPOM-Working Papers on Operations Management me comprometo a:

6. Greatly reduce emphasis on the journal impact factor as a promotional tool,
ideally by ceasing to promote the impact factor or by presenting the metric in the
context of a variety of journal-based metrics (e.g., 5-year impact factor,
EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that
provide a richer view of journal performance.
7. Make available a range of article-level metrics to encourage a shift toward
assessment based on the scientific content of an article rather than publication
metrics of the journal in which it was published.
8. Encourage responsible authorship practices and the provision of information
about the specific contributions of each author.
9. Whether a journal is open-access or subscription-based, remove all reuse
limitations on reference lists in research articles and make them available under
the Creative Commons Public Domain Dedication [10].
10. Remove or reduce the constraints on the number of references in research
articles, and, where appropriate, mandate the citation of primary literature in
favor of reviews in order to give credit to the group(s) who first reported a finding

Call for Questions. ELAVIO 2013.Scientific publication for dummies. A critical vision of indexed citations

El miércoles 11 de Septiembre de 2013 (de 10:30 a 12:20) daré una Charla en el marco de la Escuela Latino-Iberoamericana de Verano en Investigación Operativa ELAVIO 2013 (http://elavio2013.blogs.upv.es/programa/)

El titulo y contenido de la charla lo podéis ver a continuación. Puesto que me gustaría personalizar los contenidos para ajustarlos a los intereses de los asistentes, os invito a añadir vuestras preguntas sobre el tema como comentarios a esta entrada. De este modo, podre incorporar vuestras inquietudes a los contenidos que expondré.

Transparencias de la charla http://hdl.handle.net/10251/32009

Scientific publication for dummies. A critical vision of indexed citations.

JUAN A. MARIN-GARCÍA

«Decía Bernardo de Chartres que somos como enanos a los hombros de gigantes. Podemos ver más, y más lejos que ellos, no por alguna distinción física nuestra, sino porque somos levantados por su gran altura». Si queremos hacer avanzar la ciencia, necesitamos comunicar y debatir nuestros resultados para ir construyendo, entre todos, el conocimiento científico. En esta charla me gustaría compartir con vosotros como entiendo el sistema de publicaciones científicas, dónde localizar revistas afines a vuestros temas y cómo seleccionarlas (en base a su comité científico, la calidad de sus revisiones o el impacto en vuestro curriculum a partir de diversos indices de impacto), también me gustaría personalizar la charla para dar respuesta a vuestras dudas concretas sobre el proceso editorial o recomendaciones que puedo haceros desde mi rol como editor de WPOM o revisor para diferentes revistas de impacto.

¿Por qué publicar en investigación docente?

Hace unos días participé en una sesión de clausura del curso de formación para profesores de mi universidad (Título Propio de Especialista en Pedagogía Universitaria/Programa de Acogida Universitario (PAU)) y estuvimos hablando sobre publicar en investigación docente.

Quizás deberíamos empezar respondiendo a una pregunta más general ¿por qué publicar los resultados de investigación?

En lugar de dar una respuesta a esta pregunta, me gustaría que dedicaras 2-3 minutos a poner todas las posibles razones por las que sería conveniente publicar (luego, si quieres, puede incluso ordenarlas de mayor a menor importancia para ti):

En segundo lugar, deberíamos responder a esta pregunta ¿qué es la investigación docente? . Seguramente habrá muchas respuestas diferentes, yo voy a daros la mía:

La investigación docente es INVESTIGACIÓN. Por lo tanto, usa el mismo protocolo que cualquier otro tipo de investigación sea cuál sea el fenómeno que se investigue: hay que definir una pregunta de investigación y justificar que es pertinente e importante, que responderla aporta una contribución a académicos y profesionales; hay que recopilar el saber previo y resumirlo; hay que elegir los métodos más adecuados para la pregunta formulada y los objetivos concretos de la investigación; hay que recoger «datos» y analizarlos y discutirlos para acabar sacando unas conclusiones.

Lo único que la diferencia de otras investigaciones es que su pegunta de investigación está relacionada con la docencia o el aprendizaje. Por lo tanto, es el objeto y no el «método» lo que define la investigación docente. Por otra parte, la investigación docente se puede concretar para dar respuesta a cuestiones relacionadas con el aprendizaje o la docencia de diferentes disciplinas, por lo que su contribución es importante (y seguramente esencial) para los investigadores de esas áreas, sean áreas de Química, Biología, Derecho, Organización de Empresas, Ingeniería o la que sea). De hecho, las más prestigiosas asociaciones científicas tienen divisiones especializadas en investigar cómo se aprender la disciplina. Por otra parte, no debemos olvidar que, en el contexto científico español, una parte importante de la investigación la realizan personas que son, al mismo tiempo, investigadores y docentes. Por ello, la investigación docente nos ayuda a dar respuesta a problemas con los que nos enfrentamos todos los días para logar ser unos profesionales y unas instituciones más eficientes.

Otra pregunta que quiero contestar es ¿por qué publicar mis investigaciones docentes? ¿no será esa una tarea sólo de pedagogos? En mi opinión, cualquier persona que es responsable de que otros aprendan (da lo mismo que los que aprendan sean doctorandos, alumnos de universidad o personal técnico de las empresas), debería investigar sobre la mejor forma de fomentar aprendizaje y publicar sus resultados.

Para mi, publicar (cualquier investigación, docente o no) es importante porque:

Me ayuda a ser más sistemático (resumiendo el saber previo, recogiendo e interpretando los datos) y ser más riguroso, de modo que acabo tomando mejores decisiones docentes y soy mejor profesional de la docencia.
Me permite convertir en «urgente» cosas que son importantes (si no me fijo plazos y objetivos de publicación, las cosas se me van quedando para «cuando tenga tiempo» y eso no ocurre jamás y no mejoro mi capacitación como profesional al servicio de la Universidad española).
Me ahorra tiempo a mi y ahorra tiempo a otros, porque intercambiamos resultados y evitamos tropezar en los mismos errores o podemos aprovechar mejor los aciertos de otras personas.
Me permite debatir mis conclusiones y contrastar si son tan ciertas como suponía. También me permite generalizar (o no) los resultados al compararlos con las publicaciones similares en otros contextos.
Y debería servir para mejorar mi curriculum como investigador. Por un lado, me ayuda a depurar métodos y a conocer nuevas técnicas que enriquecen mi capacidad para abordar problemas cada vez más complejos en mi área «natural» de investigación, que es la Organización de Empresas. Gracias a las exigencias de la investigación docente tengo que aprender técnicas que luego aplico en investigaciones de otros campos, creando una fertilización cruzada muy interesante. Por otro lado, salvo que alguien se empeñe en ponerle «orejeras» a la Ciencia, la publicación de resultados de investigación en revistas de prestigio, sea del área que sea, es un mérito indiscutible para un investigador. De hecho, cuanto más diferentes son las «conversaciones científicas» en las que se participa, más mérito se debería considerar pues obliga a dominar marcos teóricos, métodos y enfoques diferentes. Esta polivalencia y versatilidad es un recurso complejo, escaso y valioso; las personas que lo poseen deberían ser premiados (y no penalizados) por ello.

En el fondo, los motivos para publicar e revistas científicas mis resultados de investigación docente, no son diferentes de los motivos que me impulsan a publicar mi investigación en «Organización de Empresas», porque tal como comentaba en la segunda pregunta de esta entrada, el proceso para hacer investigación es el mismo e igual de riguroso, lo que cambia sólo es el objeto de las preguntas que se intentan responder.

Por último me quedaría una pregunta por tratar ¿dónde publicar la investigación docente?

Los congresos son una buena forma de empezar a elaborar el «borrador» de la comunicación, pero deberíamos apuntar a publicar en revistas académicas registradas en bases de datos de búsqueda (Scopus, EBSCO, ABI y Web Of knowledge). El motivo principal es que las actas de congreso no suelen estar accesibles ni indexadas, de modo que nuestra investigación no beneficiará apenas a nadie, porque, aún encontrando el título y resumen, casi nunca podrán acceder a nuestro texto completo, salvo que hayan asistido al congreso (y guarden las copias de las actas). Además con el tema de congresos empieza a haber un movimiento de crear cutre-congresos que no aportan nada científicamente a los participantes. Para detectar estos congreso-fiascos, os recomendaría que mirarais la asociación científica y el comité científico que organiza el congreso (si no hay una asociación científica reconocida detrás del congreso, o en su defecto, un comité plagado de expertos reconocidos, yo no me apuntaría).

Sobre las revistas, lo principal es el comité editorial. Si las personas que están detrás de la revista son reconocidos expertos en la disciplina que quieres publicar, es un buen indicador de la seriedad. Os recomendaría evitar mandar vuestros artículos a revistas donde el editor es un profesional «no científico» y que no pertenece a una institución universitaria o científica (sobre todo, si os piden 400-600 euros por publicaros los artículos. Que hay mucha editorial no científica que se dedica a intentar publicar ciencia como si se tratara de «libros de bolsillo». Para mí eso es dar gato por libre. Adicionalmente, cumplir criterios latindex o similares o estar en alguno de los buscadores habituales (Scopus, EBSCO, ABI y Web Of knowledge), puede ser otro índice de calidad pero nunca eliminaría el primer filtro de quién forma parte del comité editorial y que peso científico tienen esas personas.

Asumiendo que optáis por una revista científica de verdad (no las falso-científicas que se anuncian por mail «spameando» con las listas de direcciones que capturan de las actas de congresos u otros métodos de dudosa legitimidad). Las opciones creo que se resumen en tres categorías:

Revistas de vuestra área de conocimiento que admiten (a veces a regañadientes) artículos de investigación docente. Si lo pone como línea de «Focus and Scope», tendréis alguna posibilidad. Si no, será casi una tarea imposible. Ejemplos de revistas de esta categoría que NO promociona la investigación docente en sus líneas, pero que a veces publica algo: http://www.journals.elsevier.com/journal-of-operations-management/ o Cuadernos de Economía y Dirección de la Empresa y este es un ejemplo (hay poquísimos) de una que sí lo promociona entre sus líneas http://www.jiem.org/index.php/jiem/about/editorialPolicies#focusAndScope
Revistas de vuestra área que se dediquen a la investigación docente. Por ejemplo, porque son el órgano de difusión de una sección de la asociación científica. Ejemplos de estas revistas:Journal of Marketing Education, Academy of Management Learning & Education, INFORMS Transactions on Education , WSEAS Transactions on Advances in Engineering Education, Journal of Chemical Education, Journal of Engineering Education
Revistas del área de educación o pedagogía (requerirán de vosotros un mayor dominio del marco teórico, métodos y «normas de conversación» habituales en la pedagogía). Ejemplos de esta categoría de revistas: Higher Education, Innovative Higher Education, Assessment and Evaluation in Higher Education, Revista de Investigación Educativa (RIE), RELIEVE, Revista española de Pedagogía, Revista de Educación

1 Star 2 Stars (1 votes, average: 0,00 out of 5)
Cargando...

Una respuesta más acotada a ¿Cuántas horas de trabajo de profesor debería representar 1 crédito ECTS?

Un año y tres meses después de que formulara la pregunta original y tras varios reales Decretos, unos cuántos borradores de Ley y varias normas internas de mi universidad publicadas, tengo una respuesta más concreta a la pregunta ¿Cuántas horas de trabajo de profesor debería representar 1 crédito ECTS?

Con todos los datos recogidos, hago un nuevo supuesto:

Un PDI (personal docente e investigador), a tiempo completo en la UPV, tiene que impartir 34 crd de docencia (ECTS) por contrato. Pero si investigas (sexenio vivo y otros indices de actividad investigadora) se reconoce esa actividad como descarga docente… de forma similar a como se hace en gestión. Si investigas mucho puedes llegar a tener un máximo de 16 créditos de encargo docente (es decir un 40-50% del tiempo es investigación y el resto docencia -si haces gestión, se descarga de docencia también). Estas cifras coinciden bastante con el primer supuesto que formulé en su día. No iba tan desencaminado. Lo que cambia ahora es el módulo para calcular la equivaencia de ECTS y horas.

Las 1.725 horas al año (dedicación a tiempo completo) equivalen a 34 crd. Por lo tanto 1 ECTS equivale a 50.7 horas de trabajo del profesor/investigador. Por ejemplo, una asignatura donde se impartan 5 créditos de «POD», puede consumir 250 horas EN TOTAL (planificación, preparar materiales, impartir, evaluar, reuniones de coordinación, poner actas, revisiones, etc). Es decir, hay tiempo para hacer bien las cosas invirtiendo el tiempo necesario para desarrollar materiales, atender a los alumnos, evaluarles formativamente etc.

Quizás ahora la pregunta sea, ¿cuánta investigación de calidad se puede hacer dedicando 811 horas de trabajo al año a investigar? Por concretar esa pregunta con los «indices de moda» (limitados, pero sencillos de calcular), ¿cuántos JCRs de cuartil 1 ó 2 se pueden hacer al año en ese tiempo? Personalmente, no creo que sean más de 1 al año -o como el chiste, uno o ninguno-.

Habría que considerarlo para que las comisiones correspondientes de sexenio y acreditación «no se suban a la parra» y fuercen a los docentes (porque somos docentes en las Universidades Españolas) a abandonar parte de sus obligaciones para cumplir con unos criterios que, de otra manera, son imposibles de cumplir.

1 Star 2 Stars (4 votes, average: 0,00 out of 5)
Cargando...

El traje nuevo del investigador

«Hace muchos años vivía un catedrático de universidad español que era comedido en todo excepto en una cosa: se preocupaba mucho por la excelencia en la investigación. Gracias a sus méritos, perseverancia y su prodigiosa inteligencia consiguió ser nombrado ministro de investigación. Un día escuchó a dos investigadores extranjeros, que estaban haciendo una estancia en su universidad, decir que habían construido el mejor baremo para evaluar la calidad de investigación que se pudiera imaginar. Eran los hermanos Guido y Luigi Farabutto, que acumulaban más de 100 trabajos publicados en las revistas de primer cuartil del famoso JCR (y su índice h era superior a 60). Este baremo, añadieron, tenía la especial capacidad de dar cero puntos a cualquier estúpido o incapaz para su cargo en una institución universitaria. Por supuesto, no había baremo alguno sino que los pícaros producían números arbitrarios, eso sí, si alguien introducía en la aplicación alguna publicación cuya pregunta de investigación estuviera relacionada con la docencia,se le asignaba una elevada puntuación negativa a ese trabajo.

Sintiéndose algo nervioso acerca de si él mismo sería capaz de salir bien parado o no con el baremo, el ministro de investigación envió primero a dos de sus hombres de confianza a ser sometidos a la evaluación. Evidentemente, ninguno de los dos introdujo méritos relacionados con investigación docente (pues no los tenían) y, puesto que la aplicación les otorgó unos números altos comenzaron a alabarla. Toda la comunidad académica empezó a oír hablar del fabuloso baremo y estaba deseando comprobar su puntuación, pero sobre todo, si tenían más puntos que sus vecinos. Los investigadores más prestigiosos de la disciplina sacaron elevadas puntuaciones, en parte por azar y en parte porque ninguno de ellos había publicado jamás artículos de investigación docente. Pronto la aplicación fue ganando popularidad.

Los hermanos Farabutto ayudaron al ministro a parametrizar la aplicación informática y el propio ministro obtuvo la mayor puntuación de España (tras seguir los consejos de los hermanos Farabutto y no introducir unos cuántos artículos sobre investigación docente que el catedrático había publicado en revistas como Academy of Management Learning & Education, Journal of Management Education, Intangible Capital, Journal of Engineering Education, Cuadernos de Economía y Dirección de Empresas, entre otras).

Toda la comunidad científica alabó enfáticamente el baremo, y empezaron a esconder sus investigaciones docentes, temerosos de que sus vecinos se dieran cuenta y les obligaran a introducirlas en la aplicación. Así pasaron muchos, mucho años.

De vez en cuando algún estúpido reclamaba «¡Pero si la investigación docente es investigación!… Sin embargo, sus palabras se perdían entre risitas despectivas por parte de una mayoría autocomplacida con sus elevados índices de prestigio académico (infinitamente mayores que los de los osados reclamantes)…»

Como ya os habréis dado cuenta, esta historia es una adaptación (http://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador#cite_note-4) de lo que escribió Hans Christian Andersen (1837)… Aunque resulta que, en ocasiones, las maravillas extranjeras parten de ideas españolas . Parece ser que Andersen adaptó, sin citar (ahora diríamos, plagió), la historia XXXII recogida en el El conde Lucanor ( infante Don Juan Manuel, 1330- 1335).

Por supuesto, en mi texto, se podría sustituir el concepto «investigación docente» por «investigación con metodología cualitativa» o por «Investigación haciendo replicación de estudios» o incluso «publicar en más campos de los que yo [evaluador] soy capaz de dominar» o «investigación en temas que, unas pocas personas y contra toda lógica, deciden que no son propias del área, sin que haya ningún documento que manifieste, explícitamente, dónde están las fronteras consensuadas por la comunidad científica del área (en el caso de que, de verdad, sea posible acotar fronteras sin matar la investigación transversal y multidisciplinar) » y seguiría teniendo la misma vigencia.

No sé cómo acabará este cuento. En la ficción se acaba descubriendo el «pastel» y se rectifica y se aprende la lección. Pero es bien sabido que la realidad muchas veces supera a la ficción.

Ideas surgidas de la edicion 2013 del workshop OMTECH-ACEDE

He asistido un año más a la reunión de trabajo de la sección de Dirección de Operaciones y Tecnología de la Asociación ACEDE (Sevilla, 29 de abril 2013 https://twitter.com/OMTech2013; http://congreso.us.es/omtech2013/). La reunión me ha resultado muy interesante y fruto de lo oído y visto, me traigo unas reflexiones, preguntas o cuestiones que intentaré ir digiriendo en el futuro:

Evaluación de aprendizajes en nuestras asignaturas de grado. La explosión de Mini actividades puntuadas y sumadas quizás hace que se consigan aprobados o notas sin que se haya aprendido lo suficiente.
1. ¿comprobamos o las diseñamos para que sean ESTIMADORES válidos y fiables de los objetivos de aprendizaje superado por el alumno?
2. ¿Las mini-actividades son necesarias para que se aprendan cosas que permitan sacar buena nota en el final? ¿superándolas implica que aprenden cosas necesarias para superar los objetivos de aprendizaje?
Formulación de objetivos de aprendizaje (enlazado también con la presentación de Maria Teresa Ortega). Se me ocurre que hay dos forma de formularlos:
1. En base a lo que medimos. Verbalizar lo que estamos midiendo realmente y lo conviertimos en objetivo de aprendizaje (ejem. Leer y recordar unos capítulos de un libro)
2. Describir las componentes de las competencias que queremos trabajar en la asignatura: sería como constructos formativos de un segundo orden –la competencia- y las mini-actividades o preguntas del examen serían Estimadores –reflectivos o formativos- de ese constructo de objetivo de aprendizaje. Ejemplo: Establecer, redactar y comunicar objetivos para cada una de las secciones del departamento. Esta forma de trabajar permite aplicar técnicas multivariantes para comprobar el ajuste de los datos al «modelo teórico de evaluación que deseamos».
Sobre lo que comentaba Pedro de resultados contraintuitivos cuando se introducen innovaciones docentes y notas obtenidas por los alumnos.
1. Creo que no es la metodología docente lo que genera resultados de aprendizaje (y por lo tanto notas diferentes). Son las horas de trabajo ACTIVO de los alumnos en la asignatura lo que genera el aprendizaje. La pregunta es si diferentes metodologías fomentan más horas de trabajo activo en los alumnos (¿a todos o hay metodologías que son más reactivas para determinados alumnos?). Es decir, necesitamos un mediador entre «metodología» y «resultados», de lo contrario podemos encontrar datos cofnusos (que al cambiar una metodología «tradicional» por una que se supone que es «una buena práctica», los alumnos no sacan más notas). Bueno, además del mediador de horas de trabajo activo, necesitamos estar seguros de que el modo en que evaluamos es adecuado (y no está sesgado y deja de lado los verdaderos objetivos de aprendizaje de la asignatura).
Hay muchas personas haciendo innovación docente (solo en la reunión pudimos ver más de 50 experiencias). Pero no lo compartimos de la manera adecuada para que sea útil. No publicamos nada de esto y así es difícil que se haga avanzar la «ciencia». Pero debemos publicar bien. informar con el suficiente detalle nuestros experimentos/experiencias docentes para que:
1. cualquier profesor pueda replicar nuestro experimento, cuasi-experimento o experiencia (eso implica compartir o enlazar los materiales y protocolos usados en aula.
2. haya información suficiente para poder hacer un meta-analisis en el futuro (que resuma e integre los aportes de cada experiencia). esto incluye una buena descripción de las poblaciones y grupos, así como de los «tratamientos» y efectos de los mismos.
3. Si no se os ocurre ninguna revista que pueda estar interesada en publicar este tipo de trabajos, yo os adelanta que en WPOM somos receptivos a esta investigación necesaria. Pero sospecho que hay otras muchas revistas que serían receptivas: Intangible Capital, Journal of Industrial Engineering and Management y EDUCADE
El reto de siempre de compartir materiales entre docentes. ¿Podemos crear un canal youtube para compartir los buenos vídeos localizados y que no tengamos que gastar tanto tiempo localizando materiales? En el fondo se puede extender a casos o articulos de periódicos (como comentaba Jose Antonio Alfaro o Juan José Tarí). Lo importante es poder hacer unos buenos tags,…. Quizás por eso lo mejor usar Diigo o una buena herramienta de marcadores sociales
1. Igual lo sencillo es colgar cosas en servidores (cada uno el que prefiera: youtube, google drive, servidores propios o blogs propios) y usar marcadores sociales –públicos o cerrados para el grupo OMTECH, lo que queramos-
2. No necesitamos un servidor propio de ACEDE.. nos basta con marcadores y una forma de gestionar acceso o hacerlo publico
Repensar lo de los badges (http://www.openbadges.org/) y gamificación sin caer en “edu-tainement” comentado por Elcio Mendoça
Relación de la ponencia de Dolores Quiruga con mi propuesta de “aprendizaje servicio” la experiencia con la SVPAP
“Lo nuevo de Bolonia es poner al alumno en el centro de aprendizaje” He de reconocer que me da un poco de tirria esta frase porque, para mí, desde 1994 el alumno era el centro de aprendizaje ;-).

(No Ratings Yet)

Cargando...

La replicación de estudios, una necesidad olvidada en investigación científica.

Siempre he pensado que hay dos cosas que parecen haberse olvidado en la publicación científica:

1.- La validación de escalas de medida (tanto de las creadas nuevas como de las adaptadas a un nueva muestra y/o un nuevo lenguaje)

2.- La replicación de investigaciones (tanto la replicación exacta de experimentos, como la reutilización de escalas previamente validada como la adaptación de escalas y experimentos a muestras diferentes).

Hasta hoy no tenía más argumentos que mis impresiones, basadas en mi sentido común y en mi forma de interpretar lo que dicen los manuales de investigación científica. Esto podría confundirse con ignorancia o ingenuidad, ya que los que se supone que saben de estas cosas o, al menos los que controlan la publicación científica o actúan como revisores, perece que se comportan absolutamente en contra de estás dos prácticas.

Desde hoy tengo una opinión externa a favor del segundo de los puntos: Yong, E. «Replication studies: Bad copy» [Weblog entry.] Nature 485, 298–300 (17 May 2012) doi:10.1038/485298a (http://www.nature.com/news/replication-studies-bad-copy-1.10634) Date accessed: 2 junio 2012

Quizás en el futuro tenga también evidencias de que el punto 1 no es sólo una impresión mía, sino algo que más gente considera imprescindible para hacer avanzar la ciencia.

Mientras no se demuestra que estoy equivocado, voy a seguir mi intuición y fomentaré en la revista WPOM – Working Papers on Operations Management la publicación de trabajos rigurosos que se basen en replicaciones y de validaciones de escalas, aunque los resultados de esos estudios contradigan los resultados de los estudios originales.

La universidad que estamos creando.

Plan Bolonia explicado sin rodeos