Si suficientes personas eminentes se unen para condenar una práctica controvertida, que va hacer que se detenga?Eso es lo que más de 150 científicos y 75 organizaciones científicas esperan para hoy, con una declaración conjunta denominada Declaración de San Francisco de Evaluación de la Investigación (DORA) . Lamenta la forma en que algunos indicadores - sobre todo el factor de impacto notorio (JIF) - son mal utilizados como las evaluaciones rápidas y sucias de los resultados científicos y la calidad de sus trabajos de investigación."Hay una necesidad urgente de mejorar la forma en que se evalúa el resultado de la investigación científica", dice Dora. Los científicos rutinariamente despotricar que los organismos de financiación y las instituciones a juzgar por el factor de impacto de las revistas que publican en - y no por el trabajo que realmente hacen. La métrica se introdujo en 1963 para ayudar a evaluar las bibliotecas que las revistas para comprar (que mide el número de citas que la media de papel de una revista ha recibido en los últimos dos años). Pero tiene poca relación con las citaciones cualquier artículo es probable que reciba, ya que sólo unos pocos artículos en un diario reciben la mayor parte de las citas. Centrarse en el JIF ha cambiado los incentivos científicos , llevándolas a ser recompensados por entrar en publicaciones de alto impacto y no para hacer buena ciencia."Nosotros, la comunidad científica, la culpa - hemos creado este lío, la percepción de que si no se publica en la célula , la naturaleza o la ciencia , no obtendrá un trabajo ", dice Stefano Bertuzzi, director ejecutivo de la American Sociedad para la Biología Celular (ACSB), quien coordinó DORA después de las conversaciones en la reunión anual de la ACSB año pasado. "Ha llegado el momento de que la comunidad científica para tomar el control de este problema", dice. Ciencia  y ELIFE también publicaron editoriales sobre el tema en la actualidad.

Todo se ha dicho antes, por supuesto. Evaluación de la Investigación "se apoya demasiado en el estado inflado del factor de impacto ", una naturaleza editorial señaló en 2005, o como estructurales biólogo Stephen Curry, del Imperial College de Londres puso en un reciente post: "Estoy harto de los factores de impacto y así es la ciencia ".

Incluso la empresa que crea el factor de impacto, Thomson Reuters, ha emitido recomendaciones que no mide la calidad de un artículo individual en un diario, sino que se correlaciona con la reputación de la revista en su campo. (En respuesta a DORA, Thomson Reuters señala que es el abuso del JIF, que es el problema, no la métrica sí mismo.)

Pero Bertuzzi dice: "El objetivo es mostrar que la comunidad está cansada de esto. Esperemos que esto será un cambio cultural. "Es notable que los firmantes DORA son casi todos de las instituciones estadounidenses y europeas, aunque el ACSB tiene un sitio web donde cualquier persona puede firmar la declaración.

(Nature Publishing Group, que publica este blog, no ha firmado DORA: Naturaleza 's editor en jefe, Philip Campbell, dijo que las revistas del grupo habían publicado muchos editoriales críticos de los excesos en el uso de JIFs ", pero el proyecto de declaración contenía muchos elementos específicos, algunos de los cuales eran demasiado radical para mí o mis colegas a firmar ".)

DORA hace 18 recomendaciones a los donantes, instituciones, investigadores, editores y proveedores de métricas. En términos generales, estos implican la eliminación gradual de las métricas revista nivel en favor de otras a nivel de artículo, ser transparente y directa acerca de las evaluaciones métricas y, a juzgar por los contenidos científicos en lugar de las métricas de publicación siempre que sea posible.

El informe sí incluye algunas ideas polémicas: uno, por ejemplo, sugiere que las organizaciones que medidas de la irrigación deben "proporcionar los datos bajo una licencia que permite la reutilización sin restricciones, y facilitar el acceso computacional a los datos".

Thomson Reuters vende su Journal of Citation Reports ( JCR ), como una suscripción de pago y no permite su reutilización sin restricciones de datos, si bien toma nota de la compañía en la respuesta que muchos investigadores individuales utilizan los datos con el permiso de la empresa para analizar JCR métricas."Sería óptimo tener un sistema que puede utilizar la comunidad científica", dice Bertuzzi con cautela cuando se le preguntó acerca de esto. Y Bertuzzi reconoce que las revistas tienen diferentes niveles de prestigio, es decir, un elemento de juicio estereotipado en función de dónde se publica surgiría incluso si el JIF no estaban mal. Pero los científicos deberían ser capaces de considerar qué revista se adapte a la comunidad a la que quieren llegar, en vez de pensar "Vamos a empezar por la parte superior [el impacto del factor] Diario y trabajar nuestro camino", dice. "El mejor de todos los resultados posibles sería un cambio cultural en el que se evalúan los papeles de su propio mérito científico."