Analysis of scientific domains using Scopus-based

scientometric tools: experiences of the SCImago Research Group

Zaida Chinchilla RodríguezInstituto de Políticas y Bienes Públicos.

CSIC. SCImago Research Group.

I International Workshop on Scientometric Studies related to the Biomedical Sciences. CNIC, 2010. La Habana, Cuba.

Estructura de la presentación

1. Consideraciones generales sobre el análisis de dominios científicos. La necesidad de evaluar y evaluar qué?

2. Herramientas basadas en datos Scopus

3. Cuba en el contexto nacional, regional e internacional

4. Recomendaciones generales

Análisis cienciométricos ¿para qué?

• Necesidad de evaluar– Políticas públicas de ciencia y tecnología– Desarrollo de herramientas metodológicas– Fuentes de información científica– Batería de indicadores – Sistemas de información científica– Benchmarking

Instrumentosde

interface

Subsistemade

Generación de Conocimiento

Subsistemade

Innovación

Sistema Científico-Tecnológico

Inst

rum

ento

s de

Inte

rfac

e

Cuba

Cantidad y calidad• Políticas Científicas Distribución de fondos I+D

– Grupos excelentes, líneas prioritarias consolidadas (tamaño y visibilidad)

• Recuento de publicaciones = productividad investigadora

• Volumen/Tamaño no Repercusión/Visibilidad

• Indicadores de recuento se relacionan con la investigación de calidad, son los indicadores de citación los más próximos a este concepto.

• • Artículo se publica en una revista académica = proceso de revisión

inter pares, (signo de calidad).

• Pero…no supone más que una oferta a la comunidad científica. Es el uso lo que certifica el grado de calidad real de una contribución (artículo, libro, etc.)

Calidad• Calidad no es medible, no se reduce a un

número– Grado que un agente contribuye al progreso del

conocimiento– Capacidad de resolver problemas– Ofrecer nuevas ideas sobre la “realidad”– Desarrollo de nuevas tecnologías

• Comunidad científica quién pone la etiqueta. Son los pares los que determinan la superación de un umbral mínimo que pueda garantizar la calidad

Impacto/Visibilidad/Repercusión

• Influencia real de los resultados• Está afecta por factores:

– Ubicación del autor (institución, grupo)– El idioma o accesibilidad del canal de

comunicación usado– Campo temático

• Aspecto de calidad medible por indicadores cuantitativos

• Calidad-pares-cienciometría-complemento

Excelencia• Identificación de canales y elaboración de modelos de medición

• Denota superioridad comparativa. Los resultados superan un umbral prefijado

• Su identificación es necesaria para la potenciación de determinadas áreas pero puede incurrir en una exclusión de interés en otras.

• Ejes de actuación y estructuración del sistema de ciencia que permitan continuidad y atracción de recursos

• Detección de zonas de mejora para el establecimiento de redes de colaboración, la creación de una mayor interconexión entre los niveles micro-macro, estimular la movilidad y transferencia de conocimientos

Sistemas de evaluación

• Basado en canales de comunicación científica que aseguren la calidad

• Dos elementos esenciales:– Umbral mínimo de calidad– Ranking de publicaciones

• Los umbrales bajos reducen la visibilidad y por tanto, el impacto

• Los sistemas binarios no aseguran la calidad del conocimiento generado. Necesitamos sistemas difusos

• Los sistemas de evaluación deben ser adaptados periódicamente según la evaluación de resultados

Consideraciones metodológicasM

uestra d

e datos

Gauthier, E. (1998) Bibliometric Analysis of Scientific and Technological Research: A User's Guide to the Methodology. ST - 98 - 08, Canada: Observatoire des Sciences et des Technologies (CIRST).

Nivel d

e confian

za

• Ciencia Básica

• Ingeniería, informática

• Economía

• Humanidades

• Revistas internacionales

• Congresos, informes, patentes, revistas internacionales y nacionales

• Informes técnicos, revistas internacionales y nacionales

• Libros, monografías, revistas nacionales

GÓMEZ, I.; BORDONS, M. (1996 ). Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. Política Científica, 46:

Arbitradas (±30000)*

ISI-WOS (±9000)

SCOPUS (±17000)

Fuentes de datos

(*) Fuente UlrichsWeb

Resumiendo,

• Fuentes confiables que aseguren representatividad y calidad mínima

• Generación de indicadores de acuerdo a estándares internacionales

• Benchmarking global

• Categorización temática que permite la ubicación en contextos globales

• Inducción de mejores prácticas

Herramientas

Ejemplos para el caso de Cuba

Distribución regional de la producción

WESTERN EUROPE

EASTERN EUROPE

NORTHERN AFRICA

CENTRAL AFRICA

SOUTHERN AFRICA

NORTHERN AMERICA LATIN AMERICA MIDDLE EAST

ASIATIC REGION

PACIFIC REGION

1996 29,77 5,95 0,15 0,19 0,56 31,52 1,97 1,54 14,14 2,32

2000 30,66 5,90 0,20 0,18 0,52 28,56 2,50 1,61 16,29 2,44

2004 28,14 5,42 0,26 0,19 0,55 23,06 2,65 1,78 18,93 2,52

2008 28,08 5,34 0,37 0,28 0,65 22,32 3,41 2,39 25,36 2,89

0,00

4,00

8,00

12,00

16,00

20,00

24,00

28,00

32,00

58,30 50,72

326,85152,43 95,59

18,84190,47 160,62 200,94

108,87

0,00

500,00

aver

age

gro

wth

Citas por documento respecto al promedio mundial

0,40

0,60

0,80

1,00

1,20

1,40

1,60

1,80

2,00

WESTERN EUROPE EASTERN EUROPE NORTHERN AFRICA CENTRAL AFRICA SOUTHERN AFRICA NORTHERN AMERICA LATIN AMERICA MIDDLE EAST ASIATIC REGION PACIFIC REGION

1996 2000 2004 2008 Average

WORLD

Ranking mundial de países (I)

Ranking mundial de países (II)

Evolución de la producción científica en los principales países latinoamericanos

Brasil México Argentina Chile Colombia Venezuela Cuba

2003 1,35 0,58 0,42 0,22 0,08 0,11 0,07

2004 1,41 0,58 0,40 0,22 0,08 0,10 0,07

2005 1,42 0,59 0,38 0,22 0,09 0,10 0,07

2006 1,74 0,63 0,39 0,26 0,11 0,09 0,09

2007 1,84 0,61 0,40 0,27 0,12 0,10 0,09

2008 2,01 0,63 0,43 0,29 0,16 0,10 0,10

0,00

0,20

0,40

0,60

0,80

1,00

1,20

1,40

1,60

1,80

2,00

Ranking latinoamericano. Número de documentos

Datos sobre la producción cubana

Ranking latinoamericano. Impacto normalizado

Distribución temática (Cuba, Colombia y Chile)

Citas por documento por áreas

Fortalezas y debilidades

MED

BIO

CHEM

AGR

PHY

IMMU

EAR

ENV

MAT

NEU

ENG

CENG

PHAR

GEN

VET

PSY SOC

ENER

DECHEAL

NUR

DEN

ART

MATH

10000 documentos

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1,1

1,2

1,3

1,4

1,5

1,6

1,7

1,8

1,9

2

2,1

2,2

2,3

2,4

2,5

2,6

-0,90 -0,80 -0,70 -0,60 -0,50 -0,40 -0,30 -0,20 -0,10 0,00 0,10 0,20 0,30 0,40 0,50

attr

acti

vity

in

dex

activity index

WORLD

WORLD

Especialización temática, índice de atracción y volumen de producción en Medicina

Colombia

Cuba

Puerto Rico

Peru

Costa Rica

Panama

Trinidad y Tobago

Jamaica

Guatemala

BarbadosNicaragua

GuadaloupeBrazil

Mexico

Argentina

Chile

VenezuelaUruguay

Ecuador

Bolivia

250 documents

0,5

1

1,5

2

2,5

-0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4

activity index

attr

activ

ity in

dex

LATIN AMERICA

LATIN AMERICA

Volumen frente a Calidad (Áreas)

Volumen frente a calidad (categorías)

Patrones de citación

Patrones de publicación

Revistas cubanas en Scopus

¿Dónde se publica la ciencia cubana?

Principales revistas de publicación

Países de publicación, revistas y visibilidad

Publicación Q1 y la visibilidad (I)

Publicación Q1 y la visibilidad (II)

Evidencias

Evidencias (III)

Patrones de colaboración

Tipos de colaboración por áreas

Colaboración internacional de la medicina cubana.

Socios colaboradores

Colaboración interinstitucional en Medicina

Análisis institucional

Finlay Institute

Instituto Superior de Medicina Militar Dr. Luis Diaz Soto

Instituto Nacional de Oncología y Radiobiología

Universidad de La Habana

Instituto de Medicina Tropical Pedro Kouri

Centro de Ingenieria Genetica y Biotecnologia La Habana

Universidad Central Marta Abreu de Las Villas

Centro Nacional de Investigaciones Cientificas de Cuba

Hospital Clinico Quirurgico Hermanos Ameijeiras

Instituto de Ciencia Animal

Universidad de Oriente

Instituto Superior de Ciencias Medicas de La Habana

Centro de Quimica FarmaceuticaInstituto de Cibernetica, Matematica y Fisica

CNIC

Universidad de Matanzas Camilo Cienfuegos

Instituto Superior Politecnico Jose Antonio Echeverria

Agencia de Energia Nuclear y Tecnologias de Avanzada

Centro de Investigacion y Desarrollo de Medicamentos

Centro de Inmunologia Molecular

Centro Provincial de Higiene y Epidemiologia de Ciudad de La Habana

Instituto de Hematologia e Inmunologia

Hospital Psiquiatrico de La Habana Cdte. y Dr. Eduardo Bernabe Ordaz Ducunge

Centro Internacional de Restauracion Neurologica

Instituto Nacional de Neurología y Neurocirugía

Escuela Nacional de Salud Publica

Hospital Militar Universitarios J. Carlos Finlay

Instituto de Cardiología y Cirugía Cardiovascular

100 documentos

-0,1

0,1

0,3

0,5

0,7

0,9

1,1

1,3

-0,3 1,7 3,7 5,7 7,7

citas por documento

imp

acto

no

rmal

izad

o

Ranking Iberoamericano SIR 2010

Recomendaciones (I)• Convertir en objetivo institucional la visibilización de los resultados de

investigación tanto a nivel nacional e institucional:

– Desarrollar e impulsar el uso por parte de los investigadores de repositorios institucionales. Adhesión formal a las declaraciones de Berlin y Budapest

– Creación de un cosechador nacional de repositorios. Difusión en Google Scholar y otros difusores internacionales de los contenidos en repositorios

– Aprobación de un protocolo para la inclusión de trabajos vinculándolo con la concesión de incentivos.

– Implicar a los servicios de investigación, biblioteca y editorial en la visibilización internacional de la investigación

– Mejorar el posicionamiento web del ‘site’ institucional a fin de lograr una mayor presencia de los contenidos de investigación en el mundo científico.

Recomendaciones (II)

• Trabajar con los editores de las revistas para conseguir que mejoren sus posiciones en los índices internacionales o que accedan a ellos

• Minimizar el impacto de la publicación Q4 buscando mejores destinos de publicación con independencia de la vinculación del investigador con el editor de la revista (análisis diferencial por áreas)

• Fomento de la colaboración internacional dentro de intervalos de confianza del rango de las autorías.

Recomendaciones (III)• Aumentar la base de investigadores activos internacionalmente.

• Asegurar calidad homogénea en las diferentes áreas apoyándose en la colaboración internacional.

• Crear una unidad de apoyo a la publicación científica con tres misiones específicas:– Hacer el seguimiento de las prácticas de comunicación científica en

cada institución. Mejorar el conocimiento de los investigadores en lo referente a los procesos de comunicación científica. En particular, lo relativo a las publicaciones de su especialidad y su visibilidad en el mundo.

– Apoyar a los investigadores que lo necesiten en el proceso de traducción científica, corrección de estilo, adecuación a las normas para autores de las revistas y formateo de los documentos

– Difundir ente los investigadores los destinos de publicación por especialidades y rango de visibilidad para facilitar su selección

Gracias por la atención

Seguimos trabajando…

Analysis of scientific domains using Scopus-based

scientometric tools: experiences of the SCImago Research Group

Zaida Chinchilla RodríguezInstituto de Políticas y Bienes Públicos.

CSIC. SCImago Research Group.

I International Workshop on Scientometric Studies related to the Biomedical Sciences. CNIC, 2010. La Habana, Cuba.