investigación sobre aprendizaje | Blog de Juan A. Marin-Garcia

Publicado- Gumaelius Et Al (2016-on-line) Outreach initiatives operated by universities for increasing interest in science and technology

Outreach initiatives operated by universities for increasing interest in science and technology

Lena Gumaelius, Monica Almqvist, Anna Árnadóttir, Anders Axelsson, J. Alberto Conejero, José P. García-Sabater, Lene Klitgaard, Cecilia Kozma, Julien Maheut, Juan Marin-Garcia, Henrik Mickos, Per-Olof Nilsson, Agneta Norén, Margarida Pinho-Lopes, Manfred Prenzel, Johanna Ray, Torgny Roxå, Mirjam Voss
European Journal of Engineering Education
pp. 1-34 | DOI: 10.1080/03043797.2015.1121468

Abstract | PDF | Full text HTML

Since the 1990s, the low number of students choosing to study science and technology in higher education has been on the societal agenda and many initiatives have been launched to promote awareness regarding career options. The initiatives particularly focus on increasing enrolment in the engineering programmes. This article describes and compares eight European initiatives that have been established and operated by universities (and in some cases through collaboration with other actors in society). Each initiative is summarised in a short essay that discusses motivation, organisation, pedagogical approach, and activities. The initiatives are characterised by comparing the driving forces behind their creation, how the initiative activities relate to the activities at the university, size based on the number of participants and cost per participant and pedagogical framework. There seem to be two main tracks for building outreach activities, one where outreach activities are based on the university’s normal activities, and one where outreach activities are designed specifically for the visiting students.

Impartido Taller Publicar la investigación en docencia universitaria

Acabo de regresar de una magnífica experiencia impartiendo el curso: Publicar la investigación en docencia universitaria¿Dónde y cómo publicar investigación en docencia? en la Universidad del Pais Vasco (EHU).

Más de 40 docentes universitarios tremendamente motivados que han compartido sus experiencias, inquietudes y dudas. Da gusto hacer formación en estas condiciones y anima a seguir confiando en la magnifica universidad pública que tenemos (donde, a pesar de la escasez de recursos, estamos logrando resultados alucinantes, gracias a las excelentes personas que aún están en la universidad).

Publicado: Marin-Garcia, J. A., & Santandreu-Mascarell, C. (2015). What do we know about rubrics used in higher education? Intangible Capital, 11(1), 118-145.

Marin-Garcia, J. A., & Santandreu-Mascarell, C. (2015). What do we know about rubrics used in higher education? Intangible Capital, 11(1), 118-145. doi: 1697-9818 – Print ISSN: 2014-3214
http://dx.doi.org/10.3926/ic.538

Acceso al PDF del documento:

http://www.intangiblecapital.org/index.php/ic/article/view/538/462

Purpose: In this paper we compare the search strategies and the results of three recent literature reviews on the rubrics use in education. With all this we aim to identify what is known, what it is not known yet and if there is material to launch a new literature review right now.

Design/methodology/approach: Comparative analysis of three recen literature reviews and systematic literature review.

Findings and Originality/value: Of the 142 papers included in the three recent reviews, few focus on university learning and the results are not broken down by educational level. We believe that there is no conclusive scientific answer to how to create and validate an assessment rubric for university courses, or what purpose they serve , or if it’s worth the effort to develop them. Recommendations for the appropriate use of rubrics are based on anecdotal evidence without robust and proven methodology. Nor is easy to find what subjects, or what objects, and in what contexts have been investigated the rubrics or which validated rubrics are available.

Originality/value: we conducted a new review and we compare the selected papers with those used in previous reviews. We have located 241 new papers not included in previous reviews. Probably all this new material can be used in the future for a meta-analysis

Keywords

rating; scoring; rubric; Higher Education; systematic Literature Review; assessment instrument; educational; learning; self-assessment; peer-assessment

Summary FINCODA project (January 2015 –December 2017) [EU-Grant-554493-EPP-1-2014-1-FI-EPPKA2-KA]

EICE IEMA (Innovación en la Evaluación para la Mejora del Aprendizaje)

Framework for Innovation Competencies Development and Assessment (FINCODA) 554493-EPP-1-2014-1-FI-EPPKA2-KA

Related to the following “Competencias transversales UPVlc”:

Creatividad
Innovación
Trabajo en equipo
Liderazgo

Introduction:

Universities don’t have tools to measure the development of students’ innovation competencies during their studies. Therefore we don’t actually know what teaching and learning methods are effective when aspiring the enhancement of innovation competencies, although we should organize higher education in a cost-effective way.

Companies are lacking of tools and methods to assess innovation competencies as part of their knowledge management activities: in recruitment processes, in internal development activities and when subcontracting training services for their staff.

We urgently need new reliable and valid tools for innovation competencies assessment that could be used throughout the young innovators path from university to working life organizations.

Our project perfectly implements two priorities of ET 2020 Strategic Framework, namely “Strategic objective 2: Improving the quality and efficiency of education and training” and “Strategic objective 4: Enhancing creativity and innovation, including entrepreneurship, at all levels of education and training”. To make these priorities true in higher education, we need active university-enterprise cooperation and valid tools to measure intended learning outcomes.

FINCODA project will produce several remarkable tangible outputs:

A toolkit for behaviour assessment: available as an electronic guide on the Internet. It can be used as a self learning material of guide for training purposes.
Software application for innovation competencies assessment (basic version is OER and more advanced versions may include small fee for maintenance work of the tool)
Massive Open Online Courses related to:
- Behaviour assessment (MOOC 1)
- Behaviour assessment and the use of innovation competencies assessment tool (MOOC 2)
Workshop (Joint Rater training workshop for all Partners). Month 13

Rater training workshop, targeted mainly for partner organizations. It will be organized in Hamburg Germany. It serves the purposes of training key staff from all partners to behaviour assessment as well as testing the novel toolkit. Participants will later on act as trainers in their own organizations and in cooperation events with other stakeholders.

Workshops (Innovation competencies assessment workshops). Months 26-35

Innovation competencies assessment workshops will be organized in all partner countries. There will be joint format agreed in project level and HE partners are responsible for organizing those workshops in their countries, by utilizing their expertise and premises. In English, Finnish, Dutch, Spanish, German.

Members

5 European universities that form a strategic alliance called CARPE (Consortium of Applied Research and Professional Education).

TUAS (Turku University of Applied Science), HAW (Hamburg University of Applied Sciences), HU (University of Applied Sciences, The Netherlands) , MMU (Manchester Metropolitan University), UPVLC (Universitat Politècnica de València).

9 Employers of innovators and developers of new innovations; innovation intensive companies from 5 different corners of Europe.

Elomatic Ltd (Finland). Leading European consulting & engineering company and a global provider of 3D Plant & Ship Design Software Cadmatic with over 700 engineering professionals.
Hamburger Hafen und Logistik AG (HHLA, Germany) makes annually enormous investments in both vocational and in-service training for their nearly 5000 employees.
Lactoprot (Germany) use outstanding innovative technologies to optimize production processes and quality in their core business. Focused on the processing of milk.
ECDL (The Netherlands) is a multinational operator that has profound experience working with schools, educators and commercial enterprises.
John Caunt Scientific Ltd. (UK) specializes in product innovation as the core activity of their nuclear radiation detection, measurement and shielding products business.
Carter & Corson Partnership Ltd. (UK) has over 14 years’ experience in designing, developing and implementing competency frameworks and diagnostics in recruitment, assessment, development and training. They will work closely with partner HEIs in refinement and validation of assessment tool.
Enterprise Europe Northwest EENNW (UK). Professional network targeted at helping SMEs, Universities & organizations to grow, be competitive & partner within Europe & third country partners.
Celestica (Spain) provide electronics manufacturing services by their 30 000 employees and execute their business in Centers of Excellence strategically located in North America, Europe and Asia.
Schneider Electric España SA creates new innovations to meet the planet’s energy challenge and make the smart grid a reality.

HE students and staff of participating companies.

Overview of short term results and long term outcome indicators

Short term results	Target groups/potential beneficiaries	Quantitative indicators	Qualitative indicators
New practical and academic knowledge about the innovation competences	Companies, work places, academics	Number of publications	Topics of discussion among practitioners and academics
Innovation competencies assessment Barometer	HR people in companies, students and teachers in universities	Frequency of use of Barometer Web service	User feedback

Long term outcome	Target groups/potential beneficiaries	Quantitative indicators	Qualitative indicators
Curriculum development in HEIs	Students	Numbers of courses assessed by innovation competence criteria	Completion rates Feedback from students in student satisfaction surveys
Personnel assessment methods	Companies, workers	Performance of recruitment process, number of new innovations	Maturity of staff to participate innovation intensive work
New cooperation level between companies and universities	Companies, work places, students	Number of agreements between companies and universities based on the recruitment path framework	Succeeding in the first recruitment according to students and employers

Contacto:

Juan A. Marin-Garcia (DOE)

jamarin@omp.upv.es

Coordinador del proyecto en UPVlc

Participando en V Workshop OMTech – Universidad de Navarra

La V edición de Workshop OMTech – Universidad de Navarra no sólo ha cumplido, sino que también ha superado mis expectativas. He escuchado cosas muy interesantes y me vuelvo con nuevas ideas, algunas cosas para probar en mis asignaturas, inquietudes de investigación, varias referencias interesantes que ya estoy leyendo y, sobre todo, estoy a la espera de los full papers» que pueden aportar información relevante para el avance de la investigación y práctica sobre docencia universitaria en dirección de operaciones.

Publicado Giraldo-O’Meara, M.; Marin-Garcia, J. A.; Martínez-Gómez, M. (2014). Validation of the JDS Satisfaction Scales Applied to Educational University Environments. Journal of Industrial Engineering and Management 7[1], 72-99

Giraldo-O’Meara, M.; Marin-Garcia, J. A. & Martínez-Gómez, M. (2014). Validation of the JDS Satisfaction Scales Applied to Educational University Environments. Journal of Industrial Engineering and Management 7[1], 72-99.

http://www.jiem.org/index.php/jiem/article/view/906
http://www.upv.es/i.grup/repositorio/own/ART_2014_001_JIEM-JDS%20satisfaction%20scales%20university.pdf
Abstract:
Purpose: The aim of this study is to review and summarize the main satisfaction scales used in publications about human Resource Management and educational research, in order to adapt the satisfaction scales of the Job Diagnostic Survey (JDS) to higher education and validate it with a sample of university students and to assess the concept of satisfaction in two different ways: as a single-item measure, with a global indicator and as a multi-item measure, analyzed as a global model and composed by several scales.

Design/methodology/approach: Confirmatory factor analysis with maximum likelihood, using structural equations model, was employed to assess the model fit in 152 business management undergraduates.

Findings and Originality/value: The satisfaction model measured as multi-item scale present an acceptable fit. Even though, some of the satisfaction scales did not present a satisfactory fit, they can be used and interpreted independently with carefulness. Nevertheless, the satisfaction single-item scale presents a better fit and has been validated as a simpler and less costly measure of satisfaction.

Originality/value: In the current process of change that is taking place in universities according to the plan developed by the European Space of higher Education, validated instruments as the satisfaction scale of JDS, adapted to teaching, may facilitate this process through the diagnosis, and follow-up of changes in satisfaction levels in university classrooms.

Keywords

satisfaction; scale validation; higher education; JDS; university; SEM; EQS

Proyecto europeo INCODE Innovation Competencies Development

Una vez finalizado el proyecto pasamos a la fase de explotación en nuestras asignaturas de lo materiales producidos y difusión en la comunidad universitaria.

En la parte final del proyecto hemos producido varias publicaciones relacionadas con la evaluación de competencias de innovación (individuales, interpersonales y de trabajo en red) en estudiantes universitarios.

Watts et. al., The Innovation Competencies Barometer and User Guide (ICB-Barometer.pdf)
INCODE Rater Training Manual 2013 (Manual_Rater_Training_INCODE.pdf)
Räsänen & Kylönen (eds) Research Hatchery as a cradle for new innovators. handbook for implementation. http://julkaisut.turkuamk.fi/isbn9789522164223.pdf
Anttoni Lehto & Taru Penttilä (eds.). PEDAGOGICAL VIEWS ON INNOVATION COMPETENCES AND ENTREPRENEURSHIP Innovation pedagogy and other approaches (http://julkaisut.turkuamk.fi/isbn9789522164087.pdf)

Página web del proyecto: http://www.incode-eu.eu/en/

Lista de otras publicaciones originadas por el proyecto: http://incode-eu.eu/en/publications/

¿Por qué publicar en investigación docente?

Hace unos días participé en una sesión de clausura del curso de formación para profesores de mi universidad (Título Propio de Especialista en Pedagogía Universitaria/Programa de Acogida Universitario (PAU)) y estuvimos hablando sobre publicar en investigación docente.

Quizás deberíamos empezar respondiendo a una pregunta más general ¿por qué publicar los resultados de investigación?

En lugar de dar una respuesta a esta pregunta, me gustaría que dedicaras 2-3 minutos a poner todas las posibles razones por las que sería conveniente publicar (luego, si quieres, puede incluso ordenarlas de mayor a menor importancia para ti):

En segundo lugar, deberíamos responder a esta pregunta ¿qué es la investigación docente? . Seguramente habrá muchas respuestas diferentes, yo voy a daros la mía:

La investigación docente es INVESTIGACIÓN. Por lo tanto, usa el mismo protocolo que cualquier otro tipo de investigación sea cuál sea el fenómeno que se investigue: hay que definir una pregunta de investigación y justificar que es pertinente e importante, que responderla aporta una contribución a académicos y profesionales; hay que recopilar el saber previo y resumirlo; hay que elegir los métodos más adecuados para la pregunta formulada y los objetivos concretos de la investigación; hay que recoger «datos» y analizarlos y discutirlos para acabar sacando unas conclusiones.

Lo único que la diferencia de otras investigaciones es que su pegunta de investigación está relacionada con la docencia o el aprendizaje. Por lo tanto, es el objeto y no el «método» lo que define la investigación docente. Por otra parte, la investigación docente se puede concretar para dar respuesta a cuestiones relacionadas con el aprendizaje o la docencia de diferentes disciplinas, por lo que su contribución es importante (y seguramente esencial) para los investigadores de esas áreas, sean áreas de Química, Biología, Derecho, Organización de Empresas, Ingeniería o la que sea). De hecho, las más prestigiosas asociaciones científicas tienen divisiones especializadas en investigar cómo se aprender la disciplina. Por otra parte, no debemos olvidar que, en el contexto científico español, una parte importante de la investigación la realizan personas que son, al mismo tiempo, investigadores y docentes. Por ello, la investigación docente nos ayuda a dar respuesta a problemas con los que nos enfrentamos todos los días para logar ser unos profesionales y unas instituciones más eficientes.

Otra pregunta que quiero contestar es ¿por qué publicar mis investigaciones docentes? ¿no será esa una tarea sólo de pedagogos? En mi opinión, cualquier persona que es responsable de que otros aprendan (da lo mismo que los que aprendan sean doctorandos, alumnos de universidad o personal técnico de las empresas), debería investigar sobre la mejor forma de fomentar aprendizaje y publicar sus resultados.

Para mi, publicar (cualquier investigación, docente o no) es importante porque:

Me ayuda a ser más sistemático (resumiendo el saber previo, recogiendo e interpretando los datos) y ser más riguroso, de modo que acabo tomando mejores decisiones docentes y soy mejor profesional de la docencia.
Me permite convertir en «urgente» cosas que son importantes (si no me fijo plazos y objetivos de publicación, las cosas se me van quedando para «cuando tenga tiempo» y eso no ocurre jamás y no mejoro mi capacitación como profesional al servicio de la Universidad española).
Me ahorra tiempo a mi y ahorra tiempo a otros, porque intercambiamos resultados y evitamos tropezar en los mismos errores o podemos aprovechar mejor los aciertos de otras personas.
Me permite debatir mis conclusiones y contrastar si son tan ciertas como suponía. También me permite generalizar (o no) los resultados al compararlos con las publicaciones similares en otros contextos.
Y debería servir para mejorar mi curriculum como investigador. Por un lado, me ayuda a depurar métodos y a conocer nuevas técnicas que enriquecen mi capacidad para abordar problemas cada vez más complejos en mi área «natural» de investigación, que es la Organización de Empresas. Gracias a las exigencias de la investigación docente tengo que aprender técnicas que luego aplico en investigaciones de otros campos, creando una fertilización cruzada muy interesante. Por otro lado, salvo que alguien se empeñe en ponerle «orejeras» a la Ciencia, la publicación de resultados de investigación en revistas de prestigio, sea del área que sea, es un mérito indiscutible para un investigador. De hecho, cuanto más diferentes son las «conversaciones científicas» en las que se participa, más mérito se debería considerar pues obliga a dominar marcos teóricos, métodos y enfoques diferentes. Esta polivalencia y versatilidad es un recurso complejo, escaso y valioso; las personas que lo poseen deberían ser premiados (y no penalizados) por ello.

En el fondo, los motivos para publicar e revistas científicas mis resultados de investigación docente, no son diferentes de los motivos que me impulsan a publicar mi investigación en «Organización de Empresas», porque tal como comentaba en la segunda pregunta de esta entrada, el proceso para hacer investigación es el mismo e igual de riguroso, lo que cambia sólo es el objeto de las preguntas que se intentan responder.

Por último me quedaría una pregunta por tratar ¿dónde publicar la investigación docente?

Los congresos son una buena forma de empezar a elaborar el «borrador» de la comunicación, pero deberíamos apuntar a publicar en revistas académicas registradas en bases de datos de búsqueda (Scopus, EBSCO, ABI y Web Of knowledge). El motivo principal es que las actas de congreso no suelen estar accesibles ni indexadas, de modo que nuestra investigación no beneficiará apenas a nadie, porque, aún encontrando el título y resumen, casi nunca podrán acceder a nuestro texto completo, salvo que hayan asistido al congreso (y guarden las copias de las actas). Además con el tema de congresos empieza a haber un movimiento de crear cutre-congresos que no aportan nada científicamente a los participantes. Para detectar estos congreso-fiascos, os recomendaría que mirarais la asociación científica y el comité científico que organiza el congreso (si no hay una asociación científica reconocida detrás del congreso, o en su defecto, un comité plagado de expertos reconocidos, yo no me apuntaría).

Sobre las revistas, lo principal es el comité editorial. Si las personas que están detrás de la revista son reconocidos expertos en la disciplina que quieres publicar, es un buen indicador de la seriedad. Os recomendaría evitar mandar vuestros artículos a revistas donde el editor es un profesional «no científico» y que no pertenece a una institución universitaria o científica (sobre todo, si os piden 400-600 euros por publicaros los artículos. Que hay mucha editorial no científica que se dedica a intentar publicar ciencia como si se tratara de «libros de bolsillo». Para mí eso es dar gato por libre. Adicionalmente, cumplir criterios latindex o similares o estar en alguno de los buscadores habituales (Scopus, EBSCO, ABI y Web Of knowledge), puede ser otro índice de calidad pero nunca eliminaría el primer filtro de quién forma parte del comité editorial y que peso científico tienen esas personas.

Asumiendo que optáis por una revista científica de verdad (no las falso-científicas que se anuncian por mail «spameando» con las listas de direcciones que capturan de las actas de congresos u otros métodos de dudosa legitimidad). Las opciones creo que se resumen en tres categorías:

Revistas de vuestra área de conocimiento que admiten (a veces a regañadientes) artículos de investigación docente. Si lo pone como línea de «Focus and Scope», tendréis alguna posibilidad. Si no, será casi una tarea imposible. Ejemplos de revistas de esta categoría que NO promociona la investigación docente en sus líneas, pero que a veces publica algo: http://www.journals.elsevier.com/journal-of-operations-management/ o Cuadernos de Economía y Dirección de la Empresa y este es un ejemplo (hay poquísimos) de una que sí lo promociona entre sus líneas http://www.jiem.org/index.php/jiem/about/editorialPolicies#focusAndScope
Revistas de vuestra área que se dediquen a la investigación docente. Por ejemplo, porque son el órgano de difusión de una sección de la asociación científica. Ejemplos de estas revistas:Journal of Marketing Education, Academy of Management Learning & Education, INFORMS Transactions on Education , WSEAS Transactions on Advances in Engineering Education, Journal of Chemical Education, Journal of Engineering Education
Revistas del área de educación o pedagogía (requerirán de vosotros un mayor dominio del marco teórico, métodos y «normas de conversación» habituales en la pedagogía). Ejemplos de esta categoría de revistas: Higher Education, Innovative Higher Education, Assessment and Evaluation in Higher Education, Revista de Investigación Educativa (RIE), RELIEVE, Revista española de Pedagogía, Revista de Educación

1 Star 2 Stars (1 votes, average: 0,00 out of 5)
Cargando...

El traje nuevo del investigador

«Hace muchos años vivía un catedrático de universidad español que era comedido en todo excepto en una cosa: se preocupaba mucho por la excelencia en la investigación. Gracias a sus méritos, perseverancia y su prodigiosa inteligencia consiguió ser nombrado ministro de investigación. Un día escuchó a dos investigadores extranjeros, que estaban haciendo una estancia en su universidad, decir que habían construido el mejor baremo para evaluar la calidad de investigación que se pudiera imaginar. Eran los hermanos Guido y Luigi Farabutto, que acumulaban más de 100 trabajos publicados en las revistas de primer cuartil del famoso JCR (y su índice h era superior a 60). Este baremo, añadieron, tenía la especial capacidad de dar cero puntos a cualquier estúpido o incapaz para su cargo en una institución universitaria. Por supuesto, no había baremo alguno sino que los pícaros producían números arbitrarios, eso sí, si alguien introducía en la aplicación alguna publicación cuya pregunta de investigación estuviera relacionada con la docencia,se le asignaba una elevada puntuación negativa a ese trabajo.

Sintiéndose algo nervioso acerca de si él mismo sería capaz de salir bien parado o no con el baremo, el ministro de investigación envió primero a dos de sus hombres de confianza a ser sometidos a la evaluación. Evidentemente, ninguno de los dos introdujo méritos relacionados con investigación docente (pues no los tenían) y, puesto que la aplicación les otorgó unos números altos comenzaron a alabarla. Toda la comunidad académica empezó a oír hablar del fabuloso baremo y estaba deseando comprobar su puntuación, pero sobre todo, si tenían más puntos que sus vecinos. Los investigadores más prestigiosos de la disciplina sacaron elevadas puntuaciones, en parte por azar y en parte porque ninguno de ellos había publicado jamás artículos de investigación docente. Pronto la aplicación fue ganando popularidad.

Los hermanos Farabutto ayudaron al ministro a parametrizar la aplicación informática y el propio ministro obtuvo la mayor puntuación de España (tras seguir los consejos de los hermanos Farabutto y no introducir unos cuántos artículos sobre investigación docente que el catedrático había publicado en revistas como Academy of Management Learning & Education, Journal of Management Education, Intangible Capital, Journal of Engineering Education, Cuadernos de Economía y Dirección de Empresas, entre otras).

Toda la comunidad científica alabó enfáticamente el baremo, y empezaron a esconder sus investigaciones docentes, temerosos de que sus vecinos se dieran cuenta y les obligaran a introducirlas en la aplicación. Así pasaron muchos, mucho años.

De vez en cuando algún estúpido reclamaba «¡Pero si la investigación docente es investigación!… Sin embargo, sus palabras se perdían entre risitas despectivas por parte de una mayoría autocomplacida con sus elevados índices de prestigio académico (infinitamente mayores que los de los osados reclamantes)…»

Como ya os habréis dado cuenta, esta historia es una adaptación (http://es.wikipedia.org/wiki/El_traje_nuevo_del_emperador#cite_note-4) de lo que escribió Hans Christian Andersen (1837)… Aunque resulta que, en ocasiones, las maravillas extranjeras parten de ideas españolas . Parece ser que Andersen adaptó, sin citar (ahora diríamos, plagió), la historia XXXII recogida en el El conde Lucanor ( infante Don Juan Manuel, 1330- 1335).

Por supuesto, en mi texto, se podría sustituir el concepto «investigación docente» por «investigación con metodología cualitativa» o por «Investigación haciendo replicación de estudios» o incluso «publicar en más campos de los que yo [evaluador] soy capaz de dominar» o «investigación en temas que, unas pocas personas y contra toda lógica, deciden que no son propias del área, sin que haya ningún documento que manifieste, explícitamente, dónde están las fronteras consensuadas por la comunidad científica del área (en el caso de que, de verdad, sea posible acotar fronteras sin matar la investigación transversal y multidisciplinar) » y seguiría teniendo la misma vigencia.

No sé cómo acabará este cuento. En la ficción se acaba descubriendo el «pastel» y se rectifica y se aprende la lección. Pero es bien sabido que la realidad muchas veces supera a la ficción.