Proyecto europeo INCODE Innovation Competencies Development

Una vez finalizado el proyecto pasamos a la fase de explotación en nuestras asignaturas de lo materiales producidos y difusión en la comunidad universitaria.

En la parte final del proyecto hemos producido varias publicaciones relacionadas con la evaluación de competencias de innovación (individuales, interpersonales y de trabajo en red) en estudiantes universitarios.

  1. Watts et. al., The Innovation Competencies Barometer and User Guide (ICB-Barometer.pdf)
  2. INCODE Rater Training Manual 2013 (Manual_Rater_Training_INCODE.pdf)
  3. Räsänen & Kylönen (eds) Research Hatchery as a cradle for new innovators. handbook for implementation. http://julkaisut.turkuamk.fi/isbn9789522164223.pdf
  4. Anttoni Lehto & Taru Penttilä (eds.). PEDAGOGICAL VIEWS ON INNOVATION COMPETENCES AND ENTREPRENEURSHIP Innovation pedagogy and other approaches (http://julkaisut.turkuamk.fi/isbn9789522164087.pdf)

Página web del proyecto: http://www.incode-eu.eu/en/

Lista de otras publicaciones originadas por el proyecto: http://incode-eu.eu/en/publications/

SCImago Journal & Country Rank vs Journal Citation Report (JCR). ¿Dos caras de la misma moneda?

En primer lugar quiero remarcar que me parece insensato valorar la calidad de la producción científica de un investigador utilizando el factor de impacto como instrumento de medida. El factor de impacto es, con todas sus limitaciones, un indicador para medir el impacto de las revistas. Para medir el impacto de las aportaciones personales deberían usarse otros índices, no exentos de problemas, pero mucho más adecuados que el factor de impacto. Por ejemplo, el índice h. Os recomiendo leer Quindós (2009) Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice h(irsch), el valor Q y otros cofactores que influyen en la felicidad del investigador como ejemplo de los múltiples artículos y reflexiones en esta línea. También podéis leer San Francisco Declaration on Research Assessment DORA y China’s publication bazaar.

Tanto si se mide el impacto del investigador con índice h o como con el factor de impacto de las revista en las que publican, desde hace tiempo me vengo preguntando por qué  SCImago Journal & Country Rank sigue siendo un listado de “segunda fila” y las comisiones evaluadores se empecinan en dar más valor a los datos proporcionados  en el Journal Citation Report (JCR) que en SCImago Journal & Country Rank. Sin duda ambos calculan el índice h de la misma forma (pero incluyendo sólo las revistas de la base de datos de Scopus o de la de web Of Knowledge, lo que es siempre incompleto). Aparentemente ambos usan métodos similares para calcular sus factores de impacto y son igual de robustos y serios. Aunque SCImago usa una métrica diferente para hacer el ranking de revistas. Métrica que, curiosamente, han desarrollado unos colegas de universidades españolas (Granada, Estremadira, Carlos III y Alcalá de Henares) y el Consejo Superior de Investigaciones Científicas (CSIC) .

Por otra parte, el proceso de admisión de revistas parece más claro y transparente en Scimago/Scopus que en JCR/WoK-Thompson. Ademas, en Scopus  parece haber una sensibilidad especial hacia las revistas europeas. Es decir, hay más presencia de revistas europeas que en WoK-Thompson. Si a eso añadimos que las revistas publicadas en Europa, de management y otras ciencias donde el aspecto cultural sea importante,  tienen más tendencia a publicar investigaciones realizadas en el contexto europeo; lo lógico sería pensar que, en los organismos de evaluación españoles, ambos listados deberían tener el mismo peso o, en todo caso, tener más peso SCImago Journal & Country Rank que Journal Citation Report (JCR). Aunque solo sea porque Scimago (que es reconocido mundialmente) lo han parido compatriotas nuestros. Me resulta tan extraño que los mismos españoles despreciemos lo que producimos mientras que fuera lo consideran un buen producto…. Es una forma rara de promocionar la marca España.

Aunque poco a poco los Boletines Oficiales van incorporando a ambos listados como referente de la calidad de las revistas, en la práctica se da un peso mayor a las revisas de JCR que a las de SCImago. Parece que es habitual que se considere equivalente ser un Q1 (primer cuartil) en SCImago con ser un Q2 o Q3  en JCR.

Hasta hoy no tenía ningún argumento para este ¿sinsentido? Pero esta mañana me han comentado que en algunas áreas (como matemáticas), la politica de SCImago de clasificación de revistas puede generar una distorsión en los rankings. En SCImago una revista puede pertenecer a varias categorías y en cada una de ellas recibe un ranking (Q1 a Q4) comparando su factor de impacto con las otras revistas de la categoría. Si alguna categoría acaba siendo muy heterogénea (incluye revistas muy dispares con políticas de citación diferentes) puede distorsionar el ranking de esa categoría. En JCR, aunque una revista pueda esta clasificada en varias categorías, sólo se estable su ranking (T1 a T3) en la categoría principal. Y, parece ser que en determinadas áreas las categorías principales de JCR son más homogéneas y generan unos rankings más claros o, al menos, más parecidos a los que siempre se habían tenido.

No se si este asunto de la heterogeneidad de las categorías afecta a todas las áreas o sólo unas pocas. En especial, me gustaría saber si en las áreas de Business, Management and Accounting (miscellaneous) , Education , Decision Sciences (miscellaneous)  , Industrial and Manufacturing Engineering, Strategy and Management , Management of Technology and Innovation, Organizational Behavior and Human Resource Management   los rankings pueden verse afectados por errores de clasificación de las revistas o si “son todas las que están”, porque en el segundo caso no habría ningún motivo para seguir discriminando a SCImago Journal & Country Rank como se está haciendo en la actualidad .

PD: parece haber cierta evidencia que en áreas como márketing los listados ScimagoJCR y JCR generan unos rankings muy similares (correlación de 0.81) (ver Richard et al, 2012)

Me adhiero a San Francisco Declaration on Research Assessment DORA

Acabo de firmar mi adherencia a la San Francisco Declaration on Research Assessment DORA- http://am.ascb.org/dora/

Por ello como investigador, me comprometo a:

1. Do not use journal-based metrics, such as Journal Impact Factors, as a
surrogate measure of the quality of individual research articles, to assess an
individual scientist’s contributions, or in hiring, promotion, or funding decisions.

15. When involved in committees making decisions about funding, hiring, tenure, or
promotion, make assessments based on scientific content rather than publication
metrics.
16. Wherever appropriate, cite primary literature in which observations are first
reported rather than reviews in order to give credit where credit is due.
17. Use a range of article metrics and indicators on personal/supporting statements,
as evidence of the impact of individual published articles and other research
outputs.
18. Challenge research assessment practices that rely inappropriately on Journal
Impact Factors and promote and teach best practice that focuses on the value
and influence of specific research outputs.

Y,  como editor de la revista WPOM-Working Papers on Operations Management me comprometo a:

6. Greatly reduce emphasis on the journal impact factor as a promotional tool,
ideally by ceasing to promote the impact factor or by presenting the metric in the
context of a variety of journal-based metrics (e.g., 5-year impact factor,
EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that
provide a richer view of journal performance.
7. Make available a range of article-level metrics to encourage a shift toward
assessment based on the scientific content of an article rather than publication
metrics of the journal in which it was published.
8. Encourage responsible authorship practices and the provision of information
about the specific contributions of each author.
9. Whether a journal is open-access or subscription-based, remove all reuse
limitations on reference lists in research articles and make them available under
the Creative Commons Public Domain Dedication [10].
10. Remove or reduce the constraints on the number of references in research
articles, and, where appropriate, mandate the citation of primary literature in
favor of reviews in order to give credit to the group(s) who first reported a finding