La clasificación de las revistas jurídicas en bases de datos, por Vicenç Aguado i Cudolà

La evaluación de la investigación se viene realizando a través de bases de datos e índices bibliométricos, a través de los cuales se trata de establecer parámetros objetivos que miden el impacto de los trabajos que se publican en libros y revistas especializados. Esta evaluación tiene cada vez más una relevante repercusión para obtener la acreditación para concursar a cuerpos docentes universitarios, para los tramos de investigación (denominados sexenios) y para la obtención de financiación en procedimientos de concurrencia competitiva para llevar a cabo proyectos de investigación.

Si el establecimiento de criterios objetivos, como la indización de las revistas, resulta útil para evaluar a los investigadores, ello no puede eludir la necesidad de examinar la aportación que realiza el correspondiente trabajo publicado al progreso del conocimiento científico. Así lo ha puesto de relieve la Sentencia del Tribunal Supremo (Sala de lo Contencioso-Administrativo, Sección Cuarta) núm. 986/2018, de 12 de junio, relativa a la denegación de un tramo de investigación. Según ha puesto de relieve esta Sentencia: “las investigaciones, las aportaciones presentadas por los interesados, no pueden dejar de examinarse por el hecho que no se publicaran en las revistas o medios incluidos en los índices o listados identificados en la resolución de 26 de noviembre de 2014. Ni tampoco están excluidos por esa sola razón de la máxima valoración permitida por la Orden de 2 de diciembre de 1994. Dependerá de su contenido la evaluación que merezcan. Y a ello han de referirse el comité de expertos o los especialistas en los informes que emitan al respecto y en los que se fundamente la decisión de la Comisión Nacional de Evaluación de la Actividad Investigadora”.

La indización y clasificación de las revistas vendría a ser, de acuerdo con esta relevante sentencia, una presunción de calidad del trabajo sometido a evaluación que no obsta a que se realice la correspondiente valoración individual. Esta sentencia no comporta que estos índices y clasificaciones dejen de tener importancia. Ahora bien, debe tenerse en cuenta que éstos no pueden tenerse como criterios obstativos que excluyan la necesaria evaluación realizada por los expertos al emitir su correspondiente informe. Por tanto, tales criterios objetivos establecidos para la clasificación de revistas no eliminan la necesaria discrecionalidad técnica de la comisión evaluadora, entendida ésta como una necesaria valoración y ponderación realizada por expertos en cuanto a las calidad del contenido del trabajo, la metodología utilizada y su relevancia o aportación con relación al progreso científico.

A diferencia de otros ámbitos científicos, las ciencias jurídicas se han incorporado más recientemente a este tipo de evaluaciones [SERRATE CASADO, Laura; ROVIRA I PATO, Lluís (2017: 3)]. Resulta, por tanto, necesario que nuestras revistas científicas vayan incorporándose cada vez  a este tipo de evaluaciones a través de datos e índices bibliométricos [DE ANDRÉS AUCEJO, Eva (2017)]. Sin embargo, debe advertirse que el ámbito jurídico presenta ciertas especificidades que requieren que deba establecerse ciertos elementos de corrección al valorar y clasificar las revistas jurídicas [SERRATE CASADO, Laura; ROVIRA I PATO, Lluís (2017: 10-11)].

La metodología jurídica se basa en procedimientos de agumentación en los que la lengua propia de cada sistema jurídico tiene un papel esencial. De esta forma, cuando la investigación se realiza desde la perspectiva de un ordenamiento jurídico concreto resulta más habitual la publicación en revistas propias de cada ámbito territorial que en revistas extranjeras o internacionales.

En particular, el Derecho público tiene una base esencialmente territorial que comporta que la calidad de la investigación en este ámbito no debe mesurarse siempre y en todo caso sobre criterios de repercusión y proyección internacional. La posibilidad que en el ámbito del Derecho público pueda realizarse un análisis de carácter más global o desde la perspectiva del Derecho comparado no supone que deba menosvalorarse la investigación centrada en el ámbito territorial del Estado o en los diversos niveles de autogobierno. Así, por ejemplo, el Derecho administrativo es una disciplina científica sobre la organización, la actuación y el control de las Administraciones públicas que vienen configuradas por el sistema constitucional propio de cada Estado. Esto hace que una gran parte de la investigación que se realiza en las universidades españolas tenga una proyección esencialmente en revistas de este ámbito territorial.

Debe advertirse como existe en determinadas bases de datos como SCOPUS y JCER una sobrevaloración de las revistas anglosajonas, en detrimento de las revistas del ámbito español y catalán que es donde habitualmente publican los autores provenientes de nuestras universidades. Así, por ejemplo, en las revistas clasificadas como A en la propuesta de CARHUS PLUS 2018 encontramos en el ámbito de Derecho 21 revistas en inglés, 8 en castellano, 2 en francés, 2 en italiano, 2 en alemán y 2 en catalán.

El indicador SNIP (Source Normalized Impact for Paper) que es utilizado por Scopus y Carhus Plus es un sistema más propio de otras disciplinas científicas que tienen una mayor proyección internacional. Por ello, la aplicación meramente automática de este este indicador SNIP puede comportar que se prime más un objeto de interés más global que un estudio más propio de ámbitos más localizados como suele ser el Derecho. Por lo tanto, ello hace que en este ámbito el SNIP se centre más en el objeto estudiado que en el rigor metodológico y la innovación.

La aplicación de estos criterios ha supuesto que revistas altamente reconocidas en el ámbito del Derecho Público como la Revista de Administración Pública y la Revista Catalana de Dret Públic hayan sido degradadas de la clasificación A en la anterior versión de Carhus Plus 2014 en la B en la de Carhus Plus 2018 o que la Revista Vasca de Administración Pública y la Revista Aragonesa de Administración Pública hayan sido degradadas de la B a la C. La penalización de las revistas en que habitualmente publican nuestros investigadores supone la penalización de la investigación que realizan los juristas en el ámbito del Derecho administrativo poniéndolos en una situación de agravio comparativo.

En definitiva, la introducción de criterios objetivos bibliométricos de clasificación de revistas resulta una importante herramienta para la evaluación de la investigación realizados para los trabajos realizados y asimismo tienen una función relevante como es la de dar pautas a los editores para lograr una mayor difusión y de repercusión de los trabajos publicados [SERRATE CASADO, Laura; ROVIRA I PATO, Lluís (2017: 12-13)]. Ahora bien, como se ha encargado de puntualizar el Tribunal Supremo no pueden constituirse como un elemento que excluya la necesaria evaluación del trabajo más allá del medio en el que está incluido. No puede, por tanto, sobrevalorarse el instrumento de difusión que es la revista con la aportación que realiza la investigación del trabajo publicado en la misma.

BIBLIOGRAFÍA BÁSICA:

—SERRATE CASADO, Laura; ROVIRA I PATO, Lluís (2017): “La base de datos Carhus Plus+: una clasificación integrada por índices de citación y de calidad editorial para la evaluación de la actividad investigadora. El caso del Derecho” en Revista de Educación y Derecho 16.
— DE ANDRÉS AUCEJO, Eva (2017): “La evaluación de la actividad investigadora en  ciencias jurídicas: hacia un impacto nacional y un impacto  internacional en las ciencias jurídicas” en Revista de Educación y Derecho 16