WPOM | Blog de Juan A. Marin-Garcia

Una breve historia de casi todo

Acabo de terminar mi primera lectura de verano (Bill Bryson (2005). Una breve historia de casi todo). Me ha resultado un libro interesante en muchos aspectos. Pero, además, me ha permitido reflexionar sobre algunos detalles sobre la ciencia en general que me ayudan a relativizar muchas cosas de las que suceden en mi profesión en la actualidad.
Por ejemplo:
* La química es ciencia desde 1661 y una de sus primeras revistas científicas data de 1848 (la geología, geografía, zoología tenían revistas 20 o 30 años antes.. y las matemáticas y la física son ciencias desde muchísimo antes) y, a pesar de los avances logrados están bastante lejos de poder dar repuesta a muchas preguntas básicas acerca del mundo que nos rodea. No podría decir en qué fecha el management se consolida como área científica y se publica su primera revista científica (yo suelo pensar que es sobre 1948, pero no tengo ninguna evidencia cierta).
* La meteorología empezó como ciencia a finales de 1700 y predice como predice el comportamiento del clima. La psicología y el management son mucho más modernas, de modo que no debemos de extrañarnos de que siga siendo difícil predecir el comportamiento de personas, grupos y organizaciones.
* Todas las ciencias han pasado (y quizás siguen atravesando) periodos de devaneo teóricos más que notables. Lo que en un tiempo se considera la verdad absoluta y es defendido a ultranza, en 40-50 años se demuestra que era incorrecto o incompleto (no solo en la pre-historia de la ciencia, en ciencias asentadas esto ha pasado con frecuencias a lo largo del siglo pasado).
* Casi todas las grandes ideas científicas han tardado años (muchas veces décadas) en ser aceptadas. La reacción más probable ante las novedades científicas es la critica salvaje, desproporcionada y muchas veces infundada para menospreciar la novedad y a su promotor.
* Los sesgos de publicación se han dado siempre y en todas las disciplinas (es habitual que las revistas prestigiosas de cualquier época rechacen la publicación de resultados de investigación que luego han dado origen a premios Nobel)

Participando en V Workshop OMTech – Universidad de Navarra

La V edición de Workshop OMTech – Universidad de Navarra no sólo ha cumplido, sino que también ha superado mis expectativas. He escuchado cosas muy interesantes y me vuelvo con nuevas ideas, algunas cosas para probar en mis asignaturas, inquietudes de investigación, varias referencias interesantes que ya estoy leyendo y, sobre todo, estoy a la espera de los full papers» que pueden aportar información relevante para el avance de la investigación y práctica sobre docencia universitaria en dirección de operaciones.

Me adhiero a San Francisco Declaration on Research Assessment DORA

Acabo de firmar mi adherencia a la San Francisco Declaration on Research Assessment DORA- http://am.ascb.org/dora/

Por ello como investigador, me comprometo a:

1. Do not use journal-based metrics, such as Journal Impact Factors, as a
surrogate measure of the quality of individual research articles, to assess an
individual scientist’s contributions, or in hiring, promotion, or funding decisions.

15. When involved in committees making decisions about funding, hiring, tenure, or
promotion, make assessments based on scientific content rather than publication
metrics.
16. Wherever appropriate, cite primary literature in which observations are first
reported rather than reviews in order to give credit where credit is due.
17. Use a range of article metrics and indicators on personal/supporting statements,
as evidence of the impact of individual published articles and other research
outputs.
18. Challenge research assessment practices that rely inappropriately on Journal
Impact Factors and promote and teach best practice that focuses on the value
and influence of specific research outputs.

Y, como editor de la revista WPOM-Working Papers on Operations Management me comprometo a:

6. Greatly reduce emphasis on the journal impact factor as a promotional tool,
ideally by ceasing to promote the impact factor or by presenting the metric in the
context of a variety of journal-based metrics (e.g., 5-year impact factor,
EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that
provide a richer view of journal performance.
7. Make available a range of article-level metrics to encourage a shift toward
assessment based on the scientific content of an article rather than publication
metrics of the journal in which it was published.
8. Encourage responsible authorship practices and the provision of information
about the specific contributions of each author.
9. Whether a journal is open-access or subscription-based, remove all reuse
limitations on reference lists in research articles and make them available under
the Creative Commons Public Domain Dedication [10].
10. Remove or reduce the constraints on the number of references in research
articles, and, where appropriate, mandate the citation of primary literature in
favor of reviews in order to give credit to the group(s) who first reported a finding

Call for Questions. ELAVIO 2013.Scientific publication for dummies. A critical vision of indexed citations

El miércoles 11 de Septiembre de 2013 (de 10:30 a 12:20) daré una Charla en el marco de la Escuela Latino-Iberoamericana de Verano en Investigación Operativa ELAVIO 2013 (http://elavio2013.blogs.upv.es/programa/)

El titulo y contenido de la charla lo podéis ver a continuación. Puesto que me gustaría personalizar los contenidos para ajustarlos a los intereses de los asistentes, os invito a añadir vuestras preguntas sobre el tema como comentarios a esta entrada. De este modo, podre incorporar vuestras inquietudes a los contenidos que expondré.

Transparencias de la charla http://hdl.handle.net/10251/32009

Scientific publication for dummies. A critical vision of indexed citations.

JUAN A. MARIN-GARCÍA

«Decía Bernardo de Chartres que somos como enanos a los hombros de gigantes. Podemos ver más, y más lejos que ellos, no por alguna distinción física nuestra, sino porque somos levantados por su gran altura». Si queremos hacer avanzar la ciencia, necesitamos comunicar y debatir nuestros resultados para ir construyendo, entre todos, el conocimiento científico. En esta charla me gustaría compartir con vosotros como entiendo el sistema de publicaciones científicas, dónde localizar revistas afines a vuestros temas y cómo seleccionarlas (en base a su comité científico, la calidad de sus revisiones o el impacto en vuestro curriculum a partir de diversos indices de impacto), también me gustaría personalizar la charla para dar respuesta a vuestras dudas concretas sobre el proceso editorial o recomendaciones que puedo haceros desde mi rol como editor de WPOM o revisor para diferentes revistas de impacto.

¿Por qué publicar en investigación docente?

Hace unos días participé en una sesión de clausura del curso de formación para profesores de mi universidad (Título Propio de Especialista en Pedagogía Universitaria/Programa de Acogida Universitario (PAU)) y estuvimos hablando sobre publicar en investigación docente.

Quizás deberíamos empezar respondiendo a una pregunta más general ¿por qué publicar los resultados de investigación?

En lugar de dar una respuesta a esta pregunta, me gustaría que dedicaras 2-3 minutos a poner todas las posibles razones por las que sería conveniente publicar (luego, si quieres, puede incluso ordenarlas de mayor a menor importancia para ti):

En segundo lugar, deberíamos responder a esta pregunta ¿qué es la investigación docente? . Seguramente habrá muchas respuestas diferentes, yo voy a daros la mía:

La investigación docente es INVESTIGACIÓN. Por lo tanto, usa el mismo protocolo que cualquier otro tipo de investigación sea cuál sea el fenómeno que se investigue: hay que definir una pregunta de investigación y justificar que es pertinente e importante, que responderla aporta una contribución a académicos y profesionales; hay que recopilar el saber previo y resumirlo; hay que elegir los métodos más adecuados para la pregunta formulada y los objetivos concretos de la investigación; hay que recoger «datos» y analizarlos y discutirlos para acabar sacando unas conclusiones.

Lo único que la diferencia de otras investigaciones es que su pegunta de investigación está relacionada con la docencia o el aprendizaje. Por lo tanto, es el objeto y no el «método» lo que define la investigación docente. Por otra parte, la investigación docente se puede concretar para dar respuesta a cuestiones relacionadas con el aprendizaje o la docencia de diferentes disciplinas, por lo que su contribución es importante (y seguramente esencial) para los investigadores de esas áreas, sean áreas de Química, Biología, Derecho, Organización de Empresas, Ingeniería o la que sea). De hecho, las más prestigiosas asociaciones científicas tienen divisiones especializadas en investigar cómo se aprender la disciplina. Por otra parte, no debemos olvidar que, en el contexto científico español, una parte importante de la investigación la realizan personas que son, al mismo tiempo, investigadores y docentes. Por ello, la investigación docente nos ayuda a dar respuesta a problemas con los que nos enfrentamos todos los días para logar ser unos profesionales y unas instituciones más eficientes.

Otra pregunta que quiero contestar es ¿por qué publicar mis investigaciones docentes? ¿no será esa una tarea sólo de pedagogos? En mi opinión, cualquier persona que es responsable de que otros aprendan (da lo mismo que los que aprendan sean doctorandos, alumnos de universidad o personal técnico de las empresas), debería investigar sobre la mejor forma de fomentar aprendizaje y publicar sus resultados.

Para mi, publicar (cualquier investigación, docente o no) es importante porque:

Me ayuda a ser más sistemático (resumiendo el saber previo, recogiendo e interpretando los datos) y ser más riguroso, de modo que acabo tomando mejores decisiones docentes y soy mejor profesional de la docencia.
Me permite convertir en «urgente» cosas que son importantes (si no me fijo plazos y objetivos de publicación, las cosas se me van quedando para «cuando tenga tiempo» y eso no ocurre jamás y no mejoro mi capacitación como profesional al servicio de la Universidad española).
Me ahorra tiempo a mi y ahorra tiempo a otros, porque intercambiamos resultados y evitamos tropezar en los mismos errores o podemos aprovechar mejor los aciertos de otras personas.
Me permite debatir mis conclusiones y contrastar si son tan ciertas como suponía. También me permite generalizar (o no) los resultados al compararlos con las publicaciones similares en otros contextos.
Y debería servir para mejorar mi curriculum como investigador. Por un lado, me ayuda a depurar métodos y a conocer nuevas técnicas que enriquecen mi capacidad para abordar problemas cada vez más complejos en mi área «natural» de investigación, que es la Organización de Empresas. Gracias a las exigencias de la investigación docente tengo que aprender técnicas que luego aplico en investigaciones de otros campos, creando una fertilización cruzada muy interesante. Por otro lado, salvo que alguien se empeñe en ponerle «orejeras» a la Ciencia, la publicación de resultados de investigación en revistas de prestigio, sea del área que sea, es un mérito indiscutible para un investigador. De hecho, cuanto más diferentes son las «conversaciones científicas» en las que se participa, más mérito se debería considerar pues obliga a dominar marcos teóricos, métodos y enfoques diferentes. Esta polivalencia y versatilidad es un recurso complejo, escaso y valioso; las personas que lo poseen deberían ser premiados (y no penalizados) por ello.

En el fondo, los motivos para publicar e revistas científicas mis resultados de investigación docente, no son diferentes de los motivos que me impulsan a publicar mi investigación en «Organización de Empresas», porque tal como comentaba en la segunda pregunta de esta entrada, el proceso para hacer investigación es el mismo e igual de riguroso, lo que cambia sólo es el objeto de las preguntas que se intentan responder.

Por último me quedaría una pregunta por tratar ¿dónde publicar la investigación docente?

Los congresos son una buena forma de empezar a elaborar el «borrador» de la comunicación, pero deberíamos apuntar a publicar en revistas académicas registradas en bases de datos de búsqueda (Scopus, EBSCO, ABI y Web Of knowledge). El motivo principal es que las actas de congreso no suelen estar accesibles ni indexadas, de modo que nuestra investigación no beneficiará apenas a nadie, porque, aún encontrando el título y resumen, casi nunca podrán acceder a nuestro texto completo, salvo que hayan asistido al congreso (y guarden las copias de las actas). Además con el tema de congresos empieza a haber un movimiento de crear cutre-congresos que no aportan nada científicamente a los participantes. Para detectar estos congreso-fiascos, os recomendaría que mirarais la asociación científica y el comité científico que organiza el congreso (si no hay una asociación científica reconocida detrás del congreso, o en su defecto, un comité plagado de expertos reconocidos, yo no me apuntaría).

Sobre las revistas, lo principal es el comité editorial. Si las personas que están detrás de la revista son reconocidos expertos en la disciplina que quieres publicar, es un buen indicador de la seriedad. Os recomendaría evitar mandar vuestros artículos a revistas donde el editor es un profesional «no científico» y que no pertenece a una institución universitaria o científica (sobre todo, si os piden 400-600 euros por publicaros los artículos. Que hay mucha editorial no científica que se dedica a intentar publicar ciencia como si se tratara de «libros de bolsillo». Para mí eso es dar gato por libre. Adicionalmente, cumplir criterios latindex o similares o estar en alguno de los buscadores habituales (Scopus, EBSCO, ABI y Web Of knowledge), puede ser otro índice de calidad pero nunca eliminaría el primer filtro de quién forma parte del comité editorial y que peso científico tienen esas personas.

Asumiendo que optáis por una revista científica de verdad (no las falso-científicas que se anuncian por mail «spameando» con las listas de direcciones que capturan de las actas de congresos u otros métodos de dudosa legitimidad). Las opciones creo que se resumen en tres categorías:

Revistas de vuestra área de conocimiento que admiten (a veces a regañadientes) artículos de investigación docente. Si lo pone como línea de «Focus and Scope», tendréis alguna posibilidad. Si no, será casi una tarea imposible. Ejemplos de revistas de esta categoría que NO promociona la investigación docente en sus líneas, pero que a veces publica algo: http://www.journals.elsevier.com/journal-of-operations-management/ o Cuadernos de Economía y Dirección de la Empresa y este es un ejemplo (hay poquísimos) de una que sí lo promociona entre sus líneas http://www.jiem.org/index.php/jiem/about/editorialPolicies#focusAndScope
Revistas de vuestra área que se dediquen a la investigación docente. Por ejemplo, porque son el órgano de difusión de una sección de la asociación científica. Ejemplos de estas revistas:Journal of Marketing Education, Academy of Management Learning & Education, INFORMS Transactions on Education , WSEAS Transactions on Advances in Engineering Education, Journal of Chemical Education, Journal of Engineering Education
Revistas del área de educación o pedagogía (requerirán de vosotros un mayor dominio del marco teórico, métodos y «normas de conversación» habituales en la pedagogía). Ejemplos de esta categoría de revistas: Higher Education, Innovative Higher Education, Assessment and Evaluation in Higher Education, Revista de Investigación Educativa (RIE), RELIEVE, Revista española de Pedagogía, Revista de Educación

1 Star 2 Stars (1 votes, average: 0,00 out of 5)
Cargando...

La replicación de estudios, una necesidad olvidada en investigación científica.

Siempre he pensado que hay dos cosas que parecen haberse olvidado en la publicación científica:

1.- La validación de escalas de medida (tanto de las creadas nuevas como de las adaptadas a un nueva muestra y/o un nuevo lenguaje)

2.- La replicación de investigaciones (tanto la replicación exacta de experimentos, como la reutilización de escalas previamente validada como la adaptación de escalas y experimentos a muestras diferentes).

Hasta hoy no tenía más argumentos que mis impresiones, basadas en mi sentido común y en mi forma de interpretar lo que dicen los manuales de investigación científica. Esto podría confundirse con ignorancia o ingenuidad, ya que los que se supone que saben de estas cosas o, al menos los que controlan la publicación científica o actúan como revisores, perece que se comportan absolutamente en contra de estás dos prácticas.

Desde hoy tengo una opinión externa a favor del segundo de los puntos: Yong, E. «Replication studies: Bad copy» [Weblog entry.] Nature 485, 298–300 (17 May 2012) doi:10.1038/485298a (http://www.nature.com/news/replication-studies-bad-copy-1.10634) Date accessed: 2 junio 2012

Quizás en el futuro tenga también evidencias de que el punto 1 no es sólo una impresión mía, sino algo que más gente considera imprescindible para hacer avanzar la ciencia.

Mientras no se demuestra que estoy equivocado, voy a seguir mi intuición y fomentaré en la revista WPOM – Working Papers on Operations Management la publicación de trabajos rigurosos que se basen en replicaciones y de validaciones de escalas, aunque los resultados de esos estudios contradigan los resultados de los estudios originales.