José M. Arana (a), Fernando Gordillo (b), Lilia Mestas (c) y Miguel Ángel Pérez (b)
(a) Dept. de Psicología Básica, Psicobiología y Metodología, Universidad de Salamanca, España
(b) Dept. de Ciencias de la Salud, Universidad Camilo José Cela, España
(c) Facultad de Estudios Superiores Zaragoza, Universidad Nacional Autónoma de México, México
(cc) Spatch
La evaluación de la actividad investigadora es clave tanto para la sociedad como para los propios investigadores. De hecho, de cómo se evalúe la investigación depende en parte el curso que tome. Desde que Hirsch (2005) formulara el índice h, éste ha ido ganando terreno a otras formas de medir los resultados de tal actividad. Pero este índice también tiene limitaciones. En un trabajo reciente hemos propuesto el Índice de Citabilidad Ponderado (ICP), que intenta superar muchas de estas limitaciones, resultando un índice mucho más exigente que el índice h y la mayoría de alternativas al uso, pero por lo mismo, mucho más completo.
La evaluación de la calidad de la investigación es indispensable para la adecuada utilización de los recursos, la contratación de personas o la concesión de premios, distinciones y promociones en la carrera. Esta evaluación utiliza diferentes indicadores, como el índice de impacto de las revistas, el número de citas, el total de trabajos publicados, etc., por lo que resulta complicado establecer un baremo objetivo, dado que no hay acuerdo sobre la relevancia de unos indicadores frente a otros. Aunque debe ser lo más objetiva posible, no hay nada en el campo humano o social que esté libre de subjetividad.
La evaluación tradicional de la calidad de la investigación ha utilizado la revisión por pares antes de la publicación y los indicadores bibliométricos (citas, calidad de las revistas) después. En la actualidad, tal evaluación pasa por el cálculo del índice h de Hirsch (2005) a partir de la cantidad e impacto de las publicaciones de manera conjunta y a través de un sencillo método. Un investigador tiene un índice h determinado cuando h de sus trabajos han recibido al menos h citas cada uno. A modo de ejemplo, un investigador con un índice h = 8, tendría 8 artículos con al menos 8 citas cada uno.
Desde su formulación, el índice h ha ido ganando terreno a otros métodos de valoración de la actividad investigadora y ha recibido muchos elogios por ser fácil de obtener y por resumir en un solo dígito el valor de las investigaciones de un autor, pero también ha tenido numerosas críticas. Según Aznar y Guerrero (2011), las principales son: (1) la dificultad de evaluar a un investigador por medio de un solo dígito, (2) la información que proporciona no es mucho mejor que la aportada por el número de citas, (3) utiliza sólo publicaciones incluidas en el Journal Citation Reports, publicación anual que proporciona información comparativa sobre las revistas científicas, (4) es inadecuado para comparar investigadores de diferentes áreas científicas, dados los distintos hábitos de publicación y citación según el campo, (5) una vez que la revista aparece en el JCR, el índice h no distingue la calidad de unas citas frente a otras, otorgando el mismo valor a todas con independencia de la calidad de la revista de dónde provengan; (6) puede estar limitado por el número de artículos, de manera que una persona con 10 artículos nunca podrá tener un índice h superior a 10, independientemente del número de citas que reciba; (7) no distingue entre los investigadores activos e inactivos, favoreciendo a los de carreras amplias frente a los jóvenes; (8) puede verse influido por las autocitas; (9) incluye las citas correspondientes a artículos negativos, fraudulentos o retractados, y (10) no tiene en cuenta el orden de los autores.
Ya Martin (1996) reconocía que la única manera de capturar la naturaleza multidimensional de la investigación es tener en consideración estos diferentes aspectos empleando múltiples indicadores. Las evaluaciones basadas en múltiples indicadores no son muy habituales, ya que algunos de ellos son difíciles de obtener.
Este es precisamente el mérito del Índice de Citabilidad Ponderado (ICP) que proponen Gordillo, Arana y Mestas (2011). Según este trabajo, para determinar el verdadero valor de la investigación de un autor se deben tomar en cuenta: (1) la contribución diferencial de los autores según el orden en que aparecen; (2) la valoración del número de publicaciones; (3) el impacto de las revistas que citan; (4) el impacto de las revistas donde se publica; y (5) la vigencia o actualidad del artículo, definida como el intervalo de tiempo que va a tenerse en cuenta para el cálculo del índice. El trabajo presenta el desarrollo matemático de los distintos componentes de la fórmula general hasta lograr el ICP.
El ICP busca integrar varios factores que han estado dispersos y que carecían de un enfoque adecuado dentro de la actividad investigadora. Se trata de un índice mucho más exigente que el índice h y la mayoría de alternativas al uso, pero por lo mismo es mucho más completo. El ICP aún debe ajustarse a través de análisis comparativos con otros índices con el fin de comprender cómo correlacionan y asegurar que puede ser aplicado a campos diferentes.
Sin embargo, tanto el índice h como el ICP tienen más en cuenta los valores e intereses de los investigadores que de la sociedad. Como alternativa, lo último en este campo es intentar desarrollar herramientas para medir y predecir el “impacto social”, la utilidad que tiene para la sociedad el conocimiento generado por la investigación. Estas herramientas utilizan el producto de complejas interacciones dentro y entre múltiples grupos interrelacionados de científicos, periodistas, empresarios, responsables políticos y consumidores. Medir el impacto social se considera una tarea difícil, pero necesaria (Hanna, 2010). El tiempo dirá si estas medidas logran desbancar a los índices más tradicionales, como el índice h. Mientras se logra el loable objetivo de crear nuevas herramientas, no están de más los intentos de mejorar las existentes.
No obstante, cualquier intento de evaluar la investigación va a afectar de alguna forma al modo en que se desarrolla, haciendo que muchos investigadores orienten sus estrategias de publicación para beneficiarse de los resquicios que deje abiertos el índice utilizado (p. ej., en el caso del índice h se aumenta autocitándose, optando por la cantidad en lugar de por la calidad, etc.). En otras palabras, podríamos decir que, aplicado a la bibliometría, se cumple el Principio de Heisenberg, según el cual si se mide un sistema de alguna forma, éste se perturba (desestabiliza). Posiblemente hay que dar por bueno este tributo en aras de la mejora de la calidad de la investigación que se ha conseguido desde que todos los investigadores estamos obligados a rendir cuentas.
Referencias
Aznar, J., y Guerrero, E. (2011). Análisis del índice-h y propuesta de un nuevo índice bibliométrico: el índice global. Revista Clínica Española, 211, 251-256.
Gordillo, F., Arana, J. M., & Mestas, L. (2011). A bibliometric index for selection processes. Journal of Mind and Behavior, 32, 333-350.
Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102, 16569-16572.
Martin, B. R. (1996). The use of multiple indicators in the assessment of basic research. Scientometrics, 36, 343-362.
Hanna, J. (2010). The hard work of measuring social impact. Research & Ideas, June 14. Recuperado el 15 de julio de 2012 desde https://hbswk.hbs.edu/item/6401.html
Manuscrito recibido el 31 de mayo de 2012.
Aceptado el 5 de noviembre de 2012.
