Una breve historia de casi todo

Acabo de terminar mi primera lectura de verano (Bill Bryson (2005). Una breve historia de casi todo). Me ha resultado un libro interesante en muchos aspectos. Pero, además, me ha permitido reflexionar sobre algunos detalles sobre la ciencia en general que me ayudan a relativizar muchas cosas de las que suceden en mi profesión en la actualidad.
Por ejemplo:
* La química es ciencia desde 1661 y una de sus primeras revistas científicas data de 1848 (la geología, geografía, zoología tenían revistas 20 o 30 años antes.. y las matemáticas y la física son ciencias desde muchísimo antes) y, a pesar de los avances logrados están bastante lejos de poder dar repuesta a muchas preguntas básicas acerca del mundo que nos rodea. No podría decir en qué fecha el management se consolida como área científica y se publica su primera revista científica (yo suelo pensar que es sobre 1948, pero no tengo ninguna evidencia cierta).
* La meteorología empezó como ciencia a finales de 1700 y predice como predice el comportamiento del clima. La psicología y el management son mucho más modernas, de modo que no debemos de extrañarnos de que siga siendo difícil predecir el comportamiento de personas, grupos y organizaciones.
* Todas las ciencias han pasado (y quizás siguen atravesando) periodos de devaneo teóricos más que notables. Lo que en un tiempo se considera la verdad absoluta y es defendido a ultranza, en 40-50 años se demuestra que era incorrecto o incompleto (no solo en la pre-historia de la ciencia, en ciencias asentadas esto ha pasado con frecuencias a lo largo del siglo pasado).
* Casi todas las grandes ideas científicas han tardado años (muchas veces décadas) en ser aceptadas. La reacción más probable ante las novedades científicas es la critica salvaje, desproporcionada y muchas veces infundada para menospreciar la novedad y a su promotor.
* Los sesgos de publicación se han dado siempre y en todas las disciplinas (es habitual que las revistas prestigiosas de cualquier época rechacen la publicación de resultados de investigación que luego han dado origen a premios Nobel)

Participando en V Workshop OMTech – Universidad de Navarra

La V edición de Workshop OMTech – Universidad de Navarra no sólo ha cumplido, sino que también ha superado mis expectativas. He escuchado cosas muy interesantes y me vuelvo con nuevas ideas, algunas cosas para probar en mis asignaturas, inquietudes de investigación, varias referencias interesantes que ya estoy leyendo y, sobre todo, estoy a la espera de los full papers» que pueden aportar información relevante para el avance de la investigación y práctica sobre docencia universitaria en dirección de operaciones.

¿Por qué publicar en investigación docente?

Hace unos días participé en una sesión de clausura del curso de formación para profesores de mi universidad (Título Propio de Especialista en Pedagogía Universitaria/Programa de Acogida Universitario (PAU)) y estuvimos hablando sobre publicar en investigación docente.

Quizás deberíamos empezar respondiendo a una pregunta más general ¿por qué publicar los resultados de investigación?

En lugar de dar una respuesta a esta pregunta, me gustaría que dedicaras 2-3 minutos a poner todas las posibles razones por las que sería conveniente publicar (luego, si quieres, puede incluso ordenarlas de mayor a menor importancia para ti):

En segundo lugar, deberíamos responder a esta pregunta ¿qué es la investigación docente? . Seguramente habrá muchas respuestas diferentes, yo voy a daros la mía:

La investigación docente es INVESTIGACIÓN. Por lo tanto, usa el mismo protocolo que cualquier otro tipo de investigación sea cuál sea el fenómeno que se investigue: hay que definir una pregunta de investigación y justificar que es pertinente e importante, que responderla aporta una contribución a académicos y profesionales; hay que recopilar el saber previo y resumirlo; hay que elegir los métodos más adecuados para la pregunta formulada y los objetivos concretos de la investigación; hay que recoger «datos» y analizarlos y discutirlos para acabar sacando unas conclusiones.

Lo único que la diferencia de otras investigaciones es que su pegunta de investigación está relacionada con la docencia o el aprendizaje. Por lo tanto, es el objeto y no el «método» lo que define la investigación docente. Por otra parte, la investigación docente se puede concretar para dar respuesta a cuestiones relacionadas con el aprendizaje o la docencia de diferentes disciplinas, por lo que su contribución es importante (y seguramente esencial) para los investigadores de esas áreas, sean áreas de Química, Biología, Derecho, Organización de Empresas, Ingeniería o la que sea). De hecho, las más prestigiosas asociaciones científicas tienen divisiones especializadas en investigar cómo se aprender la disciplina. Por otra parte, no debemos olvidar que, en el contexto científico español, una parte importante de la investigación la realizan personas que son, al mismo tiempo, investigadores y docentes. Por ello, la investigación docente nos ayuda a dar respuesta a problemas con los que nos enfrentamos todos los días para logar ser unos profesionales y unas instituciones más eficientes.

Otra pregunta que quiero contestar es ¿por qué publicar mis investigaciones docentes? ¿no será esa una tarea sólo de pedagogos? En mi opinión, cualquier persona que es responsable de que otros aprendan (da lo mismo que los que aprendan sean doctorandos, alumnos de universidad o personal técnico de las empresas), debería investigar sobre la mejor forma de fomentar aprendizaje y publicar sus resultados.

Para mi, publicar (cualquier investigación, docente o no) es importante porque:

Me ayuda a ser más sistemático (resumiendo el saber previo, recogiendo e interpretando los datos) y ser más riguroso, de modo que acabo tomando mejores decisiones docentes y soy mejor profesional de la docencia.
Me permite convertir en «urgente» cosas que son importantes (si no me fijo plazos y objetivos de publicación, las cosas se me van quedando para «cuando tenga tiempo» y eso no ocurre jamás y no mejoro mi capacitación como profesional al servicio de la Universidad española).
Me ahorra tiempo a mi y ahorra tiempo a otros, porque intercambiamos resultados y evitamos tropezar en los mismos errores o podemos aprovechar mejor los aciertos de otras personas.
Me permite debatir mis conclusiones y contrastar si son tan ciertas como suponía. También me permite generalizar (o no) los resultados al compararlos con las publicaciones similares en otros contextos.
Y debería servir para mejorar mi curriculum como investigador. Por un lado, me ayuda a depurar métodos y a conocer nuevas técnicas que enriquecen mi capacidad para abordar problemas cada vez más complejos en mi área «natural» de investigación, que es la Organización de Empresas. Gracias a las exigencias de la investigación docente tengo que aprender técnicas que luego aplico en investigaciones de otros campos, creando una fertilización cruzada muy interesante. Por otro lado, salvo que alguien se empeñe en ponerle «orejeras» a la Ciencia, la publicación de resultados de investigación en revistas de prestigio, sea del área que sea, es un mérito indiscutible para un investigador. De hecho, cuanto más diferentes son las «conversaciones científicas» en las que se participa, más mérito se debería considerar pues obliga a dominar marcos teóricos, métodos y enfoques diferentes. Esta polivalencia y versatilidad es un recurso complejo, escaso y valioso; las personas que lo poseen deberían ser premiados (y no penalizados) por ello.

En el fondo, los motivos para publicar e revistas científicas mis resultados de investigación docente, no son diferentes de los motivos que me impulsan a publicar mi investigación en «Organización de Empresas», porque tal como comentaba en la segunda pregunta de esta entrada, el proceso para hacer investigación es el mismo e igual de riguroso, lo que cambia sólo es el objeto de las preguntas que se intentan responder.

Por último me quedaría una pregunta por tratar ¿dónde publicar la investigación docente?

Los congresos son una buena forma de empezar a elaborar el «borrador» de la comunicación, pero deberíamos apuntar a publicar en revistas académicas registradas en bases de datos de búsqueda (Scopus, EBSCO, ABI y Web Of knowledge). El motivo principal es que las actas de congreso no suelen estar accesibles ni indexadas, de modo que nuestra investigación no beneficiará apenas a nadie, porque, aún encontrando el título y resumen, casi nunca podrán acceder a nuestro texto completo, salvo que hayan asistido al congreso (y guarden las copias de las actas). Además con el tema de congresos empieza a haber un movimiento de crear cutre-congresos que no aportan nada científicamente a los participantes. Para detectar estos congreso-fiascos, os recomendaría que mirarais la asociación científica y el comité científico que organiza el congreso (si no hay una asociación científica reconocida detrás del congreso, o en su defecto, un comité plagado de expertos reconocidos, yo no me apuntaría).

Sobre las revistas, lo principal es el comité editorial. Si las personas que están detrás de la revista son reconocidos expertos en la disciplina que quieres publicar, es un buen indicador de la seriedad. Os recomendaría evitar mandar vuestros artículos a revistas donde el editor es un profesional «no científico» y que no pertenece a una institución universitaria o científica (sobre todo, si os piden 400-600 euros por publicaros los artículos. Que hay mucha editorial no científica que se dedica a intentar publicar ciencia como si se tratara de «libros de bolsillo». Para mí eso es dar gato por libre. Adicionalmente, cumplir criterios latindex o similares o estar en alguno de los buscadores habituales (Scopus, EBSCO, ABI y Web Of knowledge), puede ser otro índice de calidad pero nunca eliminaría el primer filtro de quién forma parte del comité editorial y que peso científico tienen esas personas.

Asumiendo que optáis por una revista científica de verdad (no las falso-científicas que se anuncian por mail «spameando» con las listas de direcciones que capturan de las actas de congresos u otros métodos de dudosa legitimidad). Las opciones creo que se resumen en tres categorías:

Revistas de vuestra área de conocimiento que admiten (a veces a regañadientes) artículos de investigación docente. Si lo pone como línea de «Focus and Scope», tendréis alguna posibilidad. Si no, será casi una tarea imposible. Ejemplos de revistas de esta categoría que NO promociona la investigación docente en sus líneas, pero que a veces publica algo: http://www.journals.elsevier.com/journal-of-operations-management/ o Cuadernos de Economía y Dirección de la Empresa y este es un ejemplo (hay poquísimos) de una que sí lo promociona entre sus líneas http://www.jiem.org/index.php/jiem/about/editorialPolicies#focusAndScope
Revistas de vuestra área que se dediquen a la investigación docente. Por ejemplo, porque son el órgano de difusión de una sección de la asociación científica. Ejemplos de estas revistas:Journal of Marketing Education, Academy of Management Learning & Education, INFORMS Transactions on Education , WSEAS Transactions on Advances in Engineering Education, Journal of Chemical Education, Journal of Engineering Education
Revistas del área de educación o pedagogía (requerirán de vosotros un mayor dominio del marco teórico, métodos y «normas de conversación» habituales en la pedagogía). Ejemplos de esta categoría de revistas: Higher Education, Innovative Higher Education, Assessment and Evaluation in Higher Education, Revista de Investigación Educativa (RIE), RELIEVE, Revista española de Pedagogía, Revista de Educación

1 Star 2 Stars (1 votes, average: 0,00 out of 5)
Cargando...

El traje nuevo del investigador

«Hace muchos años vivía un catedrático de universidad español que era comedido en todo excepto en una cosa: se preocupaba mucho por la excelencia en la investigación. Gracias a sus méritos, perseverancia y su prodigiosa inteligencia consiguió ser nombrado ministro de investigación. Un día escuchó a dos investigadores extranjeros, que estaban haciendo una estancia en su universidad, decir que habían construido el mejor baremo para evaluar la calidad de investigación que se pudiera imaginar. Eran los hermanos Guido y Luigi Farabutto, que acumulaban más de 100 trabajos publicados en las revistas de primer cuartil del famoso JCR (y su índice h era superior a 60). Este baremo, añadieron, tenía la especial capacidad de dar cero puntos a cualquier estúpido o incapaz para su cargo en una institución universitaria. Por supuesto, no había baremo alguno sino que los pícaros producían números arbitrarios, eso sí, si alguien introducía en la aplicación alguna publicación cuya pregunta de investigación estuviera relacionada con la docencia,se le asignaba una elevada puntuación negativa a ese trabajo.

Sintiéndose algo nervioso acerca de si él mismo sería capaz de salir bien parado o no con el baremo, el ministro de investigación envió primero a dos de sus hombres de confianza a ser sometidos a la evaluación. Evidentemente, ninguno de los dos introdujo méritos relacionados con investigación docente (pues no los tenían) y, puesto que la aplicación les otorgó unos números altos comenzaron a alabarla. Toda la comunidad académica empezó a oír hablar del fabuloso baremo y estaba deseando comprobar su puntuación, pero sobre todo, si tenían más puntos que sus vecinos. Los investigadores más prestigiosos de la disciplina sacaron elevadas puntuaciones, en parte por azar y en parte porque ninguno de ellos había publicado jamás artículos de investigación docente. Pronto la aplicación fue ganando popularidad.

Los hermanos Farabutto ayudaron al ministro a parametrizar la aplicación informática y el propio ministro obtuvo la mayor puntuación de España (tras seguir los consejos de los hermanos Farabutto y no introducir unos cuántos artículos sobre investigación docente que el catedrático había publicado en revistas como Academy of Management Learning & Education, Journal of Management Education, Intangible Capital, Journal of Engineering Education, Cuadernos de Economía y Dirección de Empresas, entre otras).

Toda la comunidad científica alabó enfáticamente el baremo, y empezaron a esconder sus investigaciones docentes, temerosos de que sus vecinos se dieran cuenta y les obligaran a introducirlas en la aplicación. Así pasaron muchos, mucho años.

De vez en cuando algún estúpido reclamaba «¡Pero si la investigación docente es investigación!… Sin embargo, sus palabras se perdían entre risitas despectivas por parte de una mayoría autocomplacida con sus elevados índices de prestigio académico (infinitamente mayores que los de los osados reclamantes)…»

Como ya os habréis dado cuenta, esta historia es una adaptación (http://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador#cite_note-4) de lo que escribió Hans Christian Andersen (1837)… Aunque resulta que, en ocasiones, las maravillas extranjeras parten de ideas españolas . Parece ser que Andersen adaptó, sin citar (ahora diríamos, plagió), la historia XXXII recogida en el El conde Lucanor ( infante Don Juan Manuel, 1330- 1335).

Por supuesto, en mi texto, se podría sustituir el concepto «investigación docente» por «investigación con metodología cualitativa» o por «Investigación haciendo replicación de estudios» o incluso «publicar en más campos de los que yo [evaluador] soy capaz de dominar» o «investigación en temas que, unas pocas personas y contra toda lógica, deciden que no son propias del área, sin que haya ningún documento que manifieste, explícitamente, dónde están las fronteras consensuadas por la comunidad científica del área (en el caso de que, de verdad, sea posible acotar fronteras sin matar la investigación transversal y multidisciplinar) » y seguiría teniendo la misma vigencia.

No sé cómo acabará este cuento. En la ficción se acaba descubriendo el «pastel» y se rectifica y se aprende la lección. Pero es bien sabido que la realidad muchas veces supera a la ficción.

Ideas surgidas de la edicion 2013 del workshop OMTECH-ACEDE

He asistido un año más a la reunión de trabajo de la sección de Dirección de Operaciones y Tecnología de la Asociación ACEDE (Sevilla, 29 de abril 2013 https://twitter.com/OMTech2013; http://congreso.us.es/omtech2013/). La reunión me ha resultado muy interesante y fruto de lo oído y visto, me traigo unas reflexiones, preguntas o cuestiones que intentaré ir digiriendo en el futuro:

Evaluación de aprendizajes en nuestras asignaturas de grado. La explosión de Mini actividades puntuadas y sumadas quizás hace que se consigan aprobados o notas sin que se haya aprendido lo suficiente.
1. ¿comprobamos o las diseñamos para que sean ESTIMADORES válidos y fiables de los objetivos de aprendizaje superado por el alumno?
2. ¿Las mini-actividades son necesarias para que se aprendan cosas que permitan sacar buena nota en el final? ¿superándolas implica que aprenden cosas necesarias para superar los objetivos de aprendizaje?
Formulación de objetivos de aprendizaje (enlazado también con la presentación de Maria Teresa Ortega). Se me ocurre que hay dos forma de formularlos:
1. En base a lo que medimos. Verbalizar lo que estamos midiendo realmente y lo conviertimos en objetivo de aprendizaje (ejem. Leer y recordar unos capítulos de un libro)
2. Describir las componentes de las competencias que queremos trabajar en la asignatura: sería como constructos formativos de un segundo orden –la competencia- y las mini-actividades o preguntas del examen serían Estimadores –reflectivos o formativos- de ese constructo de objetivo de aprendizaje. Ejemplo: Establecer, redactar y comunicar objetivos para cada una de las secciones del departamento. Esta forma de trabajar permite aplicar técnicas multivariantes para comprobar el ajuste de los datos al «modelo teórico de evaluación que deseamos».
Sobre lo que comentaba Pedro de resultados contraintuitivos cuando se introducen innovaciones docentes y notas obtenidas por los alumnos.
1. Creo que no es la metodología docente lo que genera resultados de aprendizaje (y por lo tanto notas diferentes). Son las horas de trabajo ACTIVO de los alumnos en la asignatura lo que genera el aprendizaje. La pregunta es si diferentes metodologías fomentan más horas de trabajo activo en los alumnos (¿a todos o hay metodologías que son más reactivas para determinados alumnos?). Es decir, necesitamos un mediador entre «metodología» y «resultados», de lo contrario podemos encontrar datos cofnusos (que al cambiar una metodología «tradicional» por una que se supone que es «una buena práctica», los alumnos no sacan más notas). Bueno, además del mediador de horas de trabajo activo, necesitamos estar seguros de que el modo en que evaluamos es adecuado (y no está sesgado y deja de lado los verdaderos objetivos de aprendizaje de la asignatura).
Hay muchas personas haciendo innovación docente (solo en la reunión pudimos ver más de 50 experiencias). Pero no lo compartimos de la manera adecuada para que sea útil. No publicamos nada de esto y así es difícil que se haga avanzar la «ciencia». Pero debemos publicar bien. informar con el suficiente detalle nuestros experimentos/experiencias docentes para que:
1. cualquier profesor pueda replicar nuestro experimento, cuasi-experimento o experiencia (eso implica compartir o enlazar los materiales y protocolos usados en aula.
2. haya información suficiente para poder hacer un meta-analisis en el futuro (que resuma e integre los aportes de cada experiencia). esto incluye una buena descripción de las poblaciones y grupos, así como de los «tratamientos» y efectos de los mismos.
3. Si no se os ocurre ninguna revista que pueda estar interesada en publicar este tipo de trabajos, yo os adelanta que en WPOM somos receptivos a esta investigación necesaria. Pero sospecho que hay otras muchas revistas que serían receptivas: Intangible Capital, Journal of Industrial Engineering and Management y EDUCADE
El reto de siempre de compartir materiales entre docentes. ¿Podemos crear un canal youtube para compartir los buenos vídeos localizados y que no tengamos que gastar tanto tiempo localizando materiales? En el fondo se puede extender a casos o articulos de periódicos (como comentaba Jose Antonio Alfaro o Juan José Tarí). Lo importante es poder hacer unos buenos tags,…. Quizás por eso lo mejor usar Diigo o una buena herramienta de marcadores sociales
1. Igual lo sencillo es colgar cosas en servidores (cada uno el que prefiera: youtube, google drive, servidores propios o blogs propios) y usar marcadores sociales –públicos o cerrados para el grupo OMTECH, lo que queramos-
2. No necesitamos un servidor propio de ACEDE.. nos basta con marcadores y una forma de gestionar acceso o hacerlo publico
Repensar lo de los badges (http://www.openbadges.org/) y gamificación sin caer en “edu-tainement” comentado por Elcio Mendoça
Relación de la ponencia de Dolores Quiruga con mi propuesta de “aprendizaje servicio” la experiencia con la SVPAP
“Lo nuevo de Bolonia es poner al alumno en el centro de aprendizaje” He de reconocer que me da un poco de tirria esta frase porque, para mí, desde 1994 el alumno era el centro de aprendizaje ;-).

(No Ratings Yet)

Cargando...

La replicación de estudios, una necesidad olvidada en investigación científica.

Siempre he pensado que hay dos cosas que parecen haberse olvidado en la publicación científica:

1.- La validación de escalas de medida (tanto de las creadas nuevas como de las adaptadas a un nueva muestra y/o un nuevo lenguaje)

2.- La replicación de investigaciones (tanto la replicación exacta de experimentos, como la reutilización de escalas previamente validada como la adaptación de escalas y experimentos a muestras diferentes).

Hasta hoy no tenía más argumentos que mis impresiones, basadas en mi sentido común y en mi forma de interpretar lo que dicen los manuales de investigación científica. Esto podría confundirse con ignorancia o ingenuidad, ya que los que se supone que saben de estas cosas o, al menos los que controlan la publicación científica o actúan como revisores, perece que se comportan absolutamente en contra de estás dos prácticas.

Desde hoy tengo una opinión externa a favor del segundo de los puntos: Yong, E. «Replication studies: Bad copy» [Weblog entry.] Nature 485, 298–300 (17 May 2012) doi:10.1038/485298a (http://www.nature.com/news/replication-studies-bad-copy-1.10634) Date accessed: 2 junio 2012

Quizás en el futuro tenga también evidencias de que el punto 1 no es sólo una impresión mía, sino algo que más gente considera imprescindible para hacer avanzar la ciencia.

Mientras no se demuestra que estoy equivocado, voy a seguir mi intuición y fomentaré en la revista WPOM – Working Papers on Operations Management la publicación de trabajos rigurosos que se basen en replicaciones y de validaciones de escalas, aunque los resultados de esos estudios contradigan los resultados de los estudios originales.

La universidad que estamos creando.

Plan Bolonia explicado sin rodeos

Publicación científica: ni contigo, ni sin ti, tienen mis penas remedio…

Interesante artículo leído en “El País” de Juan Arechaga:

http://www.elpais.com/articulo/sociedad/espanoles/revistas/cientificas/editen/elpepusoc/20110915elpepusoc_21/Tes

Comentado en el blog http://jpgarcia.blogs.upv.es/2011/09/17/que-editen-ellos/

Lo comparto, y me inquieta pensar que seguimos perdiendo oportunidades para tener alguna ventaja competitiva como Pais: perderemos la poca ciencia que nos queda igual que perdimos los territorios de ultramar (que, por cierto, no eran nuestros, y ni siquiera los explotamos nosotros, sino que fuimos una especie de intermediario que se quedó con las migajas del expolio). Y no podemos decir que no tengamos ciencia, si te das una vuelta por centros de investigación internacionales de prestigio, no es raro encontrar españoles en ellos (y en una proporción elevada si tenemos en cuenta lo que se invierte realmente en investigación científica en España). Una gran paradoja que un país pobre como el nuestro (porque somos un país pobre) gaste su dinero en formar científicos para regalar su producción científica a países muchos más ricos que nosotros (y que lejos de redistribuir esa riqueza, la acumulan).
Y ya que han citado a Intangible Capital, la revista tiene algunas editoriales donde manifiestan una posición valiente y muy sensata sobre su política editorial (ya quisieran muchas revistas TOP ser tan honestas, serias, y rigurosas como son IC, JIEM y muchas otras revistas CIENTIFICAS con mayúsculas):
Vol 0, No 1 (2004) – EDITORIAL
Editorial: Una declaración de principios

Abstract PDF [ES]
Vol 3, No 1 (2007) – EDITORIAL
From the Editors: Making Intangible Capital a better review in its third year

Vol 1, No 1 (2005) – EDITORIAL
New objectives of the magazine

Vol 2, No 1 (2006) – EDITORIAL
From the Editors: An assessment of open access journals: quality, prestige and social responsibility

Vol 2, No 2 (2006) – EDITORIAL
From the Editors: The present and future of the scientific communication system

Vol 5, No 3 (2009) – EDITORIAL
Intangible Capital: An opportunity for PhD students and junior researchers

Termino con una propuesta para que las cosas cambien un poco… es la política editorial que yo he seguido desde mis comienzos de publicación:
1.- Si tengo que publicar en inglés para tener cierto “impacto” en el curriculum, lo haré, pero no voy a dejar de publicar en castellano nunca, porque mi sueldo me lo pagan personas que hablan y trabajan en castellano y mi producción científica debe beneficiarles, en primer lugar, a ellos que son “mis jefes”.
2.- Debo apoyar a las revistas serias manándoles mis mejores artículos. Independientemente de dónde estén indexadas y el factor de impacto que tengan. Es muy fácil saber cuando una revista es seria: te responden pronto, no te pierden los artículos, mantienen el mismo rigor en la evaluación de cualquier artículo (es decir, son BLIND de verdad), los comentarios que te hacen los revisores son siempre útiles (tanto si te aceptan como si te rechazan) y no te obliga a incluir citas de su revista para ser publicado una vez aceptado. En el fondo, esta es una estrategia ganadora a largo plazo, pues las revistas serias acaban siendo incluidas en los índices y acaban teniendo un factor de impacto, moderado, pero aceptable.