Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015
2 gostaram1,032 visualizações
O documento discute as métricas alternativas, conhecidas como altmetria, e seus benefícios em relação às métricas tradicionais na avaliação do impacto da produção científica. Destaca-se que as altmetrias são capazes de capturar a atenção recebida por pesquisas de maneira mais rápida e abrangente, incluindo compartilhamentos e comentários em mídias sociais. Contudo, levantam-se críticas quanto à sua credibilidade e à necessidade de mais estudos para entender suas particularidades em diferentes contextos.
Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015
- 1. Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica Iara Vidal Pereira de Souza XXVI CBBD, São Paulo, 22 a 24 de Julho de 2015
- 2. Métricas Alternativas? Mas qual o problema das métricas tradicionais? • Fator de impacto de periódicos • Inadequado para avaliar impacto de artigos/autores/instituições individualmente; • Sujeito a manipulações. • Contagem de citações • É lenta – citações precisam de tempo para acumular! (ler => escrever => submeter à revisão => publicar => indexar => ...); • Ignora o produto que não é artigo e o uso que não é citação; • Desconsidera o contexto e as razões para citação.
- 3. Altmetrics: a manifesto (PRIEM et al, 2010) • A Web permite acompanhar melhor o que acontece com os produtos da pesquisa científica depois que são divulgados • A bibliografia sai da gaveta para o Mendeley/Zotero; • O papo nos corredores das universidades e congressos acontece também no Twitter e nas caixas de comentários; • A literatura cinzenta vai para repositórios e blogs... • Altmetrics / Altmetria: “a criação e o estudo de novas métricas baseadas na Web Social para analisar e informar atividades acadêmicas” http://altmetrics.org/manifesto/
- 4. Não Confunda: Altimetria vs Altmetria • ALTImetria (Topografia) • Estudo ou técnica da medição de altitudes; representação das altitudes em mapas ou plantas topográficas (http://www.priberam.pt/dlpo/altimetria) • ALTmetria (do inglês altmetrics) • Alt => Alternative/Alternativas • Metrics => Métricas • Altmetria: métricas alternativas da comunicação científica.
- 5. Não Confunda: Altmetria vs. Article- Level Metrics (ALM) Article-Level Metrics (métricas de artigo): medida do impacto de um artigo reunindo indicadores tradicionais e alternativos Métricas de Artigo (ALM) Métricas Alternativas Adaptado de Ian Mulvany https://flic.kr/p/jqxxi5
- 6. Uma Visão Multidimensional do Impacto • A promessa da Altmetria é compreender melhor atores, processos, produtos e impactos da comunicação científica. • Usos além da citação: compartilhamentos, etiquetas/tags, anotações, comentários... • Públicos além da academia: médicos, pacientes, educadores, estudantes, cientistas amadores... • Produtos além do artigo de periódico: dados, software, blogs... Agências de fomento como a Wellcome Trust (Reino Unido) já usam dados altmétricos para acompanhar os resultados das pesquisas que financiam (DINSMORE; ALLEN; DOLBY, 2014)
- 8. IMPACTO USO Downloads Visualizações REVISÃO POR PARES PÓS-PUBLICAÇÃO Opinião de especialistas CITAÇÕES ALTMETRICS Favoritos Conversas Compartilhamentos Adaptado de http://altmetrics.org/manifesto/
- 9. Alguns Indicadores Altmétricos • Captura: item salvo/favoritado/curtido • Mendeley, CiteULike, Delicious, Slideshare… • Compartilhamento: item compartilhado, sem comentários adicionais significativos • Twitter, Facebook, Linkedin, YouTube, Mendeley, posts de blog… • Revisão: item comentado, discutido, anotado • Faculty of 1000 (F1000), posts de blog, comentários • Menção/Citação/Reuso • YouTube, posts de blog, notícias, verbetes da Wikipédia…
- 10. Vantagens das Métricas Alternativas • Servem de complemento aos métodos tradicionais de avaliação, mostrando impactos que são invisíveis às métricas tradicionais • Em geral se acumulam mais rápido que as citações, indicando a *atenção* recebida por um trabalho. Para bibliotecários: ferramentas auxiliares para desenvolvimento e avaliação de coleções/repositórios; serviços para usuários (“saiba quem está usando a sua pesquisa!”)
- 11. Críticas e Desvantagens • Falta de credibilidade - medida de impacto ou de popularidade? • Medida de *atenção*, que pode ter vários motivos. • Diversidade e efemeridade • Lembra do Orkut? • Um favorito no Twitter é igual a uma curtida no Facebook? • Baixa disponibilidade de indicadores • Possibilidade de manipulação
- 12. Ferramentas Para Coletar Dados Altmétricos •ImpactStory •PLOS ALM •Altmetric •Plum Analytics
- 13. • Sem fins lucrativos, financiada pela National Science Foundation e pela Fundação Alfred P. Sloan. • Voltada para pesquisadores individuais • Assinatura anual – 60 dólares • Métricas contextualizadas • Por audiência: academia (ex.: Mendeley, Figshare), público em geral • Por tipo de engajamento: visualizações, recomendações, discussões, etc. http://impactstory.org
- 14. • Inicialmente voltada apenas para artigos publicados em periódicos da PLOS, está disponível para outros editores, instituições e publicações (código aberto) • Adotada pelo Open Journal System (OJS/PKP) => SEER • Indicadores: uso, citações (acadêmicas ou não), disseminação e social bookmarking, cobertura em blogs e na mídia, discussões e classificações • Contextualizados por audiência (público em geral e acadêmico), dimensão (atenção, autopromoção e impacto), e tempo (curto, médio e longo prazo) http://article-level-metrics.plos.org
- 15. • Vinculada à Digital Science (Holtzbrinck Publishing Group) • Voltada para editores e instituições (repositórios) • Adotada por Springer, Elsevier, Nature, SciELO, entre outros. • Altmetric donut: cores indicam as fontes • Altmetric score: • Número que resume a atenção recebida por um determinado item (artigo com DOI/PMID), ponderando quantidade e qualidade. • 4 categorias de indicadores: mídia social; gerenciadores eletrônicos de referências; jornais e revistas; contagens de downloads (opcional) www.altmetric.com
- 16. • Vinculada à EBSCO. • Voltada para instituições (universidades, agências de fomento, etc). • PlumX oferece métricas relacionadas a grupos, pesquisadores, laboratórios, departamentos etc. • Monitora mais de 20 tipos de “artefatos”: artigos, livros, vídeos, apresentações, trabalhos de conferência, códigos, etc. • 5 categorias de indicadores: uso, capturas, menções, mídia social, citações (PubMed, Scopus, patentes). www.plumanalytics.com
- 17. O que já sabemos sobre a Altmetria? • Artigos das Ciências Humanas e Sociais, que geralmente recebem um volume menor de citações do que os artigos das Exatas e biológicas, são mais mencionados nas mídias sociais (HAUSTEIN; COSTAS; LARIVIÈRE, 2015) • Número de capturas no Mendeley está correlacionado positivamente com número de citações • Correlação forte p/ medicina, ciências “duras”; moderada p/ ciências sociais e humanas (ver trabalhos do Statistical Cybermetrics Research Group da University of Wolverhampton, Reino Unido - http://cybermetrics.wlv.ac.uk/)
- 18. Desenvolvimentos para ficar de olho • Alternative Metrics Initiative (National Information Standards Organization – NISO/USA) • Em busca de padrões e/ou melhores práticas em altmetria. http://www.niso.org/topics/tl/altmetrics_initiative/ • CrossRef’s DOI Event Tracker Pilot • Um ponto central para coleta, armazenamento e propagação de eventos DOI a partir de várias fontes, para vários públicos http://det.labs.crossref.org/
- 19. E no Brasil? • Referências básicas: • Altmetria: métricas de produção científica para além das citações (GOUVEIA, 2013) • Altmetria: estado da arte (minha dissertação de mestrado / trabalho no ENANCIB 2014) • Altmetrics: métricas alternativas de impacto científico com base em redes sociais (BARROS, 2015) • Dados altmétricos já disponíveis nas revistas SciELO (via Altmetric.com) e em periódicos/repositórios baseados em SEER/OJS (via PLOS ALM). PlumX entrando no mercado.
- 20. E no Brasil? Estudos empíricos • Geographic variation in social media metrics: an analysis of Latin American journal articles (ALPERIN, 2015) • Análise altmétrica de artigos scielo.br de 2013 - 5.319 (25.09%) artigos com pelo menos uma menção; destaque para Mendeley (3.986 / 18.80%), Twitter (1.286 / 6.03%), Facebook (596 / 2.81%). • Does the Global South have altmetrics? Analyzing a Brazilian LIS journal (ARAÚJO; MURAKAMI; LARA; FAUSTO, 2015) • Análise altmétrica do DataGramaZero, usando APIs de Facebook e Twitter – de 441 artigos (1999-2014), 211 com pelo menos uma menção. • 1.164 menções no total – Twitter (15.72%); Facebook: 84.28%.
- 21. Desafios • Potencial pouco explorado: foco dos estudos ainda permanece no artigo científico e na correlação entre altmetria e citações • Mais pesquisas (e dados!) são necessárias para aprofundar a compreensão teórica e prática sobre o tema e identificar as particularidades da altmetria em diferentes contextos disciplinares, geográficos, linguísticos, etc. Muito trabalho pela frente! E somos parte disto também...
- 23. Referências ALPERIN, J. P. Geographic variation in social media metrics: an analysis of Latin American journal articles. Aslib Journal of Information Management, v. 67, n. 3, 2015. ARAÚJO, R. F. de et al. Does the Global South have altmetrics? Analyzing a Brazilian LIS journal. INTERNATIONAL CONFERENCE ON SCIENTOMETRICS AND INFORMETRICS, 15th, 2015, Istambul. Disponível em: https://www.researchgate.net/publication/279443581_Does_the_Global_South_have_altmetrics_ Analyzing_a_Brazilian_LIS_journal. Acesso em: 4 jul. 2015. BARROS, M. A. de. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. Perspectivas em Ciência da Informação, v. 20, n. 2, 2015 . Disponível em: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1782. Acesso em: 20 jul. 2015. DINSMORE, A.; ALLEN, L.; DOLBY, K. Alternative perspectives on impact: the potential of ALMs and altmetrics to inform funders about research impact. PLoS Biol, v. 12, n. 11, 2014. Disponível em: http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002003. Acesso em: 23 jun. 2015. GOUVEIA, F. C. Altmetria: métricas de produção científica para além das citações. Liinc em Revista, v. 9, n. 1, 2013. Disponível em: http://revista.ibict.br/liinc/index.php/liinc/article/view/569. Acesso em: 23 jun. 2015.
- 24. Referências HAUSTEIN, S.; COSTAS, R.; LARIVIÈRE, V. Characterizing social media metrics of scholarly papers: the effect of document properties and collaboration patterns. PLoS ONE, v. 10, n. 3, 2015. Disponível em: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0120495. Acesso em: 23 jun. 2015. PRIEM, J. et al. Altmetrics: a manifesto. 2010. Disponível em: http://altmetrics.org/manifesto. Acesso em: 23 jun. 2015. SOUZA, I. V. P. de. Altmetria: estado da arte. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 15., 2014, Belo Horizonte. Anais eletrônicos... Belo Horizonte: UFMG, 2014. Disponível em: http://enancib2014.eci.ufmg.br/documentos/anais/anais-gt7. Acesso em: 23 jun. 2015. ______. Altmetria: métricas alternativas do impacto da comunicação científica. 2014. Dissertação (Mestrado)–Programa de Pós-Graduação em Ciência da Informação, Universidade Federal Fluminense, Niterói, 2014. Disponível em: http://dx.doi.org/10.6084/m9.figshare.1059176. Acesso em: 23 jun. 2015.