![\"(cc)](\"http:\/\/www.cienciacognitiva.org\/files\/2024-5-cc-Guoetal.jpg\")
(cc) Guo et al. (2024) https:\/\/doi.org\/10.3389\/fcell.2023.1339390<\/p><\/div>\n
\u00bfC\u00f3mo distinguir a un buen cient\u00edfico de uno que no es tan bueno? Hoy en d\u00eda, los cient\u00edficos compiten fieramente entre s\u00ed por el acceso a financiaci\u00f3n, puestos de trabajo, y c\u00f3mo no, reputaci\u00f3n. El Factor de Impacto de las revistas en las que un cient\u00edfico publica sus art\u00edculos (en ingl\u00e9s Journal Impact Factor, JIF) ha sido, hasta el d\u00eda de hoy, la forma m\u00e1s habitual de valorar la calidad de la investigaci\u00f3n. Parece l\u00f3gico suponer que, si un estudio se publica en una revista que es altamente citada, debe ser bueno. No obstante, instituciones de diversos pa\u00edses, entre las cuales est\u00e1 la espa\u00f1ola Agencia Nacional de Evaluaci\u00f3n de la Calidad y Acreditaci\u00f3n (ANECA), han decidido modificar la forma en la que se eval\u00faa la investigaci\u00f3n rest\u00e1ndole peso al JIF. En este art\u00edculo, repasamos varias razones por las cuales el JIF no es la forma m\u00e1s adecuada de valorar un estudio y discutimos las nuevas iniciativas que han surgido en respuesta a estas limitaciones.<\/em><\/p>\n <\/p>\n [Versi\u00f3n en pdf]<\/a><\/p>\n Evaluar la productividad y el desempe\u00f1o de los investigadores no es una tarea sencilla y, sin embargo, se debe hacer constantemente en el \u00e1mbito cient\u00edfico, por ejemplo, cuando nos enfrentamos a decisiones como elegir qui\u00e9n es el mejor candidato para un puesto en una universidad o a qu\u00e9 proyectos se les concede financiaci\u00f3n. Dado que el paso final de cualquier estudio es ser comunicado al resto de la comunidad cient\u00edfica, parece l\u00f3gico que se usen las publicaciones como un elemento clave para evaluar a la persona. Sin embargo, un conteo de la cantidad de art\u00edculos que cada investigador ha publicado es simplista e ignora posibles diferencias en aspectos cruciales, como la calidad de lo publicado. Pero medir la calidad de las publicaciones es complicado.<\/p>\n Tradicionalmente, la principal forma de evaluar un art\u00edculo ha sido a trav\u00e9s del Factor de Impacto (en ingl\u00e9s Journal Impact Factor, JIF) de la revista en la que estaba publicado. El JIF es, b\u00e1sicamente, el n\u00famero de citas promedio que reciben los art\u00edculos publicados en una revista. Es de suponer que una investigaci\u00f3n de gran importancia afecte a un mayor n\u00famero de otras investigaciones y, por tanto, sea citada en un mayor n\u00famero de art\u00edculos. Y si una revista tiene muchos art\u00edculos con muchas citas, debe ser porque publica s\u00f3lo muy buenos estudios. De aqu\u00ed se ha pasado a la l\u00f3gica contraria: si una persona ha conseguido publicar su estudio en una revista con un alto factor de impacto, ese estudio debe ser de gran calidad cient\u00edfica.<\/p>\n Sin embargo, aunque esta m\u00e9trica ha sido omnipresente en todos los baremos de cualquier disciplina cient\u00edfica, distintas instituciones como la espa\u00f1ola Agencia Nacional de Evaluaci\u00f3n de la Calidad y Acreditaci\u00f3n (ANECA) han decidido reconsiderar la forma en que se eval\u00faa la investigaci\u00f3n, rest\u00e1ndole peso al JIF en favor de otros criterios. Este movimiento est\u00e1 siendo objeto de una intensa discusi\u00f3n. Muchos investigadores defienden que el JIF de la revista es una buena medida para valorar un art\u00edculo, principalmente por ser una medida objetiva, eficiente y bien conocida por la comunidad cient\u00edfica. Sin embargo, y aunque este debate no es, ni mucho menos, nuevo (Seglen, 1997; Simons, 2008), volvemos a repasar algunas de las razones por las que el JIF no es la mejor forma de evaluar art\u00edculos cient\u00edficos.<\/p>\n En primer lugar, el JIF, como su propio nombre indica, se trata de una m\u00e9trica que da informaci\u00f3n sobre las revistas cient\u00edficas. Por ello, utilizarlo para evaluar el impacto que puede tener un art\u00edculo da lugar a una imagen distorsionada. Esto ocurre porque la distribuci\u00f3n de citas que tienen muchas revistas es altamente asim\u00e9trica, con muchos art\u00edculos muy poco citados y unos pocos art\u00edculos muy citados, por lo que su media de citas no es representativa siquiera de su tendencia central y, a\u00fan menos, de un art\u00edculo en particular. Este hecho hace que el n\u00famero de citas que recibe un art\u00edculo correlacione pobremente con el JIF de la revista (Seglen, 1997).<\/p>\n No obstante, uno podr\u00eda argumentar que el JIF sigue siendo una medida indirecta de la calidad de los art\u00edculos. Dado que las revistas con alto JIF suelen ser muy selectivas, parece razonable que solamente seleccionen art\u00edculos de muy buena calidad. De hecho, somos los propios investigadores quienes mandamos a esas revistas los que consideramos que son nuestros mejores trabajos, creando as\u00ed una especie de profec\u00eda autocumplida. Sin embargo, por contraintuitivo que nos parezca, la investigaci\u00f3n emp\u00edrica, as\u00ed como algunos casos llamativos, muestra que los art\u00edculos publicados en revistas con mayor JIF no son necesariamente de mejor calidad.<\/p>\n Por ejemplo, un indicador de calidad de un estudio es que tenga un tama\u00f1o muestral grande, ya que ese estudio ser\u00e1 m\u00e1s preciso (Button et al., 2013). Teniendo en cuenta diversas revistas del \u00e1rea de la psicolog\u00eda social y de la personalidad, un estudio reciente revel\u00f3 que la correlaci\u00f3n entre los tama\u00f1os muestrales de los estudios publicados en una revista y su JIF era, b\u00e1sicamente, cero (Fraley et al., 2022). Otra investigaci\u00f3n similar tambi\u00e9n mostr\u00f3 que el JIF no est\u00e1 relacionado de una manera sustancial con otros indicadores de calidad de los art\u00edculos, tales como el n\u00famero de errores al reportar los resultados, la fuerza de la evidencia de los resultados o su replicabilidad (Dougherty & Horne, 2022).<\/p>\n Como evidencia m\u00e1s anecd\u00f3tica, tenemos el reciente caso convertido en viral de un art\u00edculo que conten\u00eda una imagen totalmente inveros\u00edmil generada por IA de los genitales de una rata, que es la que abre el presente art\u00edculo. El art\u00edculo en cuesti\u00f3n fue publicado en la revista Frontiers in Cell and Developmental Biology, que cuenta con un JIF de 5.5, relativamente alto en su disciplina. Otro notable ejemplo podemos encontrarlo cuando, en 2011, el investigador Daryl Bem present\u00f3 evidencia de un fen\u00f3meno parapsicol\u00f3gico: los eventos futuros pod\u00edan afectar las respuestas previas de los participantes (Bem, 2011). El art\u00edculo, publicado en la prestigiosa revista Journal of Personality and Social Psychology, fue duramente criticado por la metodolog\u00eda empleada (Wagenmakers et al., 2011) y fue, entre otras, una de las causas que precipitaron lo que se conoce como \u201ccrisis de replicaci\u00f3n en psicolog\u00eda\u201d (Pashler & Wagenmakers, 2012). De nuevo, la revista que public\u00f3 este art\u00edculo ten\u00eda, y tiene, uno de los JIFs m\u00e1s altos de las revistas de su disciplina.<\/p>\n Dicho esto, la pregunta m\u00e1s frecuente cuando se cuestiona el uso del JIF es m\u00e1s que razonable: si no utilizamos el JIF para evaluar la investigaci\u00f3n, entonces, \u00bfqu\u00e9 podemos utilizar en su lugar? La respuesta no es para nada obvia. Algunos abogan por una valoraci\u00f3n m\u00e1s cualitativa, aunque apoyada por el uso de indicadores cuantitativos m\u00e1s adecuados (v\u00e9ase DORA o CoARA). Otros, sin embargo, critican tambi\u00e9n ese enfoque por necesitar m\u00e1s recursos y a\u00f1adir m\u00e1s elementos de subjetividad (Ioannidis & Maniadis, 2023). Y, aunque ya est\u00e1n surgiendo numerosas iniciativas de distintas instituciones a nivel mundial (https:\/\/sfdora.org\/reformscape<\/a>), lo cierto es que el debate acerca de cu\u00e1l es la mejor forma de evaluar la investigaci\u00f3n sigue siendo una cuesti\u00f3n abierta. No obstante, lo que s\u00ed es seguro es que el sistema est\u00e1 pidiendo a gritos un cambio y, con suerte, se encontrar\u00e1 una manera m\u00e1s adecuada de evaluar la investigaci\u00f3n.<\/p>\n Referencias<\/strong><\/p>\n Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology<\/em>, 100, 407-425.<\/p>\n Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munaf\u00f2, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience<\/em>, 14, Article 5.<\/p>\n Dougherty, M. R., & Horne, Z. (2022). Citation counts and journal impact factors do not capture some indicators of research quality in the behavioural and brain sciences. Royal Society Open Science<\/em>, 9, 220334.<\/p>\n Fraley, R. C., Chong, J. Y., Baacke, K. A., Greco, A.J., Guan, H., & Vazire, S. (2022). Journal n-pact factors from 2011 to 2019: Evaluating the quality of social\/personality journals with respect to sample size and statistical power. Advances in Methods and Practices in Psychological Science<\/em>, 5, 25152459221120217.<\/p>\n Ioannidis, J. P. A., & Maniadis, Z. (2023). In defense of quantitative metrics in researcher assessments. PLOS Biology<\/em>, 21, e3002408.<\/p>\n Pashler, H., & Wagenmakers, E. (2012). Editors\u2019 introduction to the special section on replicability in psychological science: A crisis of confidence? Perspectives on Psychological Science<\/em>, 7, 528-530.<\/p>\n Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ<\/em>, 314, 497.<\/p>\n Simons, K. (2008). The misused impact factor. Science<\/em>, 322(5899), 165-165.<\/p>\n Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology<\/em>, 100, 426-432.<\/p>\n Manuscrito recibido el 6 de marzo de 2024.
\nAceptado el 25 de marzo de 2024.<\/p>\n","protected":false},"excerpt":{"rendered":"