El acceso abierto y el uso de la información científica. Esta investigación tuvo como objetivo examinar los criterios para evaluar el impacto de las publicaciones en acceso abierto y la influencia de esta filosofía en el aumento del impacto en las publicaciones científicas. El corpus de investigación consistió en los documentos enumerados en la bibliografía anotada sobre el Open Access Citation Advantage (oaca). Algunas conclusiones fueron posibles con base en los resultados de la investigación: a) la aprobación o aceptación de las publicaciones de acceso abierto se convierte en un fenómeno relacionado con la cultura científica en cada disciplina; b) la cultura científica y las características de las disciplinas también determinan cómo son hechas las citas. En este caso, el grado de obsolescencia del conocimiento en cada disciplina es el principal factor que conduce a este proceso; c) el acto de citar está más vinculado a la calidad del contenido de la publicación que al hecho de que sea más asequible; d) la supuesta visibilidad de las publicaciones en acceso abierto, al menos para el resultado del corpus de esta investigación, no puede relacionarse con el aumento del impacto de las publicaciones.
This research examines criteria for evaluating the impact of publications in open access and the influence of this philosophy in enhancing the impact in scientific publications. The research corpus consisted of documents listed in the Open Access Citation Advantage annotated bibliography. Several conclusions can be drawn from results: a) The adoption or acceptance of open access publications becomes a phenomenon associated with the scientific culture of each discipline; b) The scientific culture and the characteristics of the discipline also determine how citations are made: in this case it is the degree of knowledge obsolescence in each subject driving this process; c) Citations are more closely linked to the quality of the content of the publication rather than to degree of accessibility; and d) The alleged visibility of open access publications, at least with regard to the corpus of this research, cannot be strongly linked to the increased impact of publications.
Opressuposto que embasou o desenvolvimento desta pesquisa foi que a filosofia do acesso livre auxilia o processo de comunicação científica, uma vez que potencializa a disseminação da produção científica por intermédio da disponibilidade e da facilidade de acesso a essa produção, permitindo seu uso na elaboração de novos estudos. As questões de pesquisa que norteiam o seu desenvolvimento são as seguintes: quais os critérios de avaliação e os impactos das citações nas publicações de acesso livre presentes na literatura e até que ponto esses estudos comprovam que a literatura em acesso livre gera mais impacto na comunidade científica.
O acesso livre, em tese, oferece diversas vantagens à comunidade científica. Todavia, estudar o efeito do acesso livre sobre o impacto das citações é uma atividade que impõe desafios. O primeiro deles é a determinação do momento ideal após a publicação do documento para medir as variações na citação, pois deve considerar o comportamento e as práticas de citação da comunidade da área a ser estudada. Além disso, “a data de publicação do documento é clara, mas a data em que foi publicada em acesso livre nem sempre é conhecida”. A quantificação das citações também é um fator complicado, haja vista que pode advir de fontes diferentes e cada uma dessas fontes oferece números ligeiramente diferentes (Swan, 2010: 3).
Assim, cientes da influência do acesso livre na alteração dos tradicionais processos de organização, acesso e disseminação da informação científica, nesta pesquisa foram definidos alguns objetivos a serem atingidos. Como objetivo geral, analisar quais são os critérios utilizados na avaliação do impacto de citação de publicações disponíveis em acesso livre e a influência desse movimento no aumento da visibilidade das publicações científicas. Os objetivos específicos definidos foram os seguintes: identificar, na literatura internacional que aborda critérios de avaliação de impacto de citações, as áreas do conhecimento analisadas, as técnicas, os resultados obtidos, as limitações encontradas; e comparar os estudos identificados de acordo com as variáveis de análise estabelecidas na presente pesquisa (título, autor, área do conhecimento, técnica empregada e resultados obtidos); e verificar, nos estudos realizados, como o fator de impacto dos periódicos científicos está relacionado ao Open Access Citation Advantage (oaca) nas diversas áreas do conhecimento.
OPEN ACCESS CITATION ADVANTAGE (OACA)A vantagem de citação do acesso livre é um tema controverso e vem atraindo a atenção de muitos pesquisadores desde quando Lawrence (2001) analisou 119.224 artigos da área de Ciência da Computação e encontrou um aumento bastante significativo no número de citações de artigos Open Access (oa) em relação aos artigos não-oa. Depois desse, surgiram diversos outros estudos preocupados em verificar a existência ou não da vantagem de citação causada pelo acesso livre. A maioria das pesquisas encontrou resultados positivos, mas existem também os estudos que não encontraram nenhuma vantagem ou até mesmo uma correlação negativa. A seguir apresentamos sínteses de quatro artigos de revisão que tratam dessa questão.
Harnad é o autor mais presente em artigos nessa linha. Harnad et al. (2004) defendem que uma forma de estimar quão grande o acesso livre e, assim, a potencialidade deles em auxiliar na resolução dos problemas de acesso e acessibilidade deve ser feito com base em comparação das contagens de citações de artigos disponíveis em acesso livre com as mesmas contagens de artigos de acesso pago. Os autores defendem, ainda, que o autoarquivamento em repositórios institucionais é a forma mais eficaz para contribuir com o acesso livre e, assim, colher os seus frutos. Ademais, acreditam que a melhor maneira para atingir a meta de acesso livre é a introdução, nas instituições de pesquisa, de políticas que exijam que os artigos publicados sejam autoarquivados, considerando que, assim, se beneficiarão com a maximização do impacto da pesquisa e eliminação de custos e de impacto perdido. Em outro artigo de revisão, Harnad et al.(2008), além de corroborarem com as afirmações propostas no estudo publicado em 2004, apresentaram um mapeamento da vantagem no impacto causado pelo acesso livre. Nesse mapeamento foram comparadas as contagens de citações para artigos de acesso livre e de acesso não-aberto. Harnad et al. (2008) defendem que as editoras já estão fazendo a sua parte na colaboração com o acesso livre, permitindo que os autores façam o autoarquivamento nos repositórios institucionais. Agora, os autores é que precisam fazer a sua parte e fornecer os seus artigos. Dessa forma, insistem, mais uma vez, na importância dos mandatos para exigência do autoarquivamento em repositórios institucionais.
Turk (2008), com base em estudos que revisou, lembra que muitos desses estudos estão empenhados em demonstrar que o acesso livre melhora o impacto de artigos científicos. “Todos esses estudos utilizam algum número de contagens de citações como uma medida substituta para o impacto” (Turk, 2008: 66). A autora acredita que a maneira de testar a vantagem no impacto causada pelo acesso livre é comparar a contagem de citações de artigos de acesso livre e artigos de acesso não-aberto que apareçam no mesmo periódico. Ainda, a autora ressalta que diversas pesquisas foram realizadas utilizando diferentes motores de busca, o que parece conduzir a conclusões também diferentes, variando de acordo como o motor de busca utilizado. O motor de busca mais bem sucedido é aquele que “fornece o resultado desejado exigindo, para isso, o menor esforço por parte dos usuários” (Turk, 2008: 67).
Por fim, o último artigo de revisão foi o de Craig et al. (2007). Esse estudo fez uma análise bastante crítica dos principais estudos nessa área, ressaltando, principalmente, as falhas metodológicas encontradas nos trabalhos revisados. Os autores lembram, ainda, que nenhum desses estudos levou em consideração a dimensão da progressão temporal: ou seja, a diferença temporal entre a disponibilização de um artigo na Internet ou em um repositório eletrônico e a publicação em um periódico. Craig et al. (2007) também mostraram alguns artigos que representam uma nova fase no desenvolvimento da literatura desse assunto, os quais se empenharam em explicar os efeitos de citação em acesso livre, classificando-os em postulado de acesso livre, postulado de acesso antecipado e postulado de viés de seleção. É preciso assumir que o aumento na quantidade de citações está relacionado a diversos outros fatores, e não somente ao acesso livre. Nesse sentido, Craig et al. (2007) afirmam que a citação científica é influenciada, sobretudo, pela relevância e importância de uma obra acadêmica para os outros estudiosos daquele mesmo campo. Embora outros fatores possam ter efeitos moderados, o processo da ciência é movido não pelo acesso, mas pela descoberta.
Depois da análise dos artigos de revisão apresentada acima, vale ressaltar que, certamente, todos os pesquisadores não esperavam que os estudos revisados pudessem apontar que o acesso livre, como em um passe de mágica, pudesse transformar artigos não-citáveis em artigos citáveis, uma vez que a citabilidade depende da qualidade, relevância, originalidade e influência de um trabalho. Pesquisas que acrescentam pouco ou nada ao desenvolvimento ou reflexão em uma área de pesquisa ganham pouca ou nenhuma atenção de outros pesquisadores, mesmo sendo facilmente acessados (Swan, 2010).
Swan (2010) faz uma síntese das principais expectativas desses estudos sustentando que derivam basicamente de um conjunto de hipóteses, baseados em que: a) uma parcela de pesquisadores (parcela essa que varia em seu tamanho de acordo com a disciplina ou área do conhecimento) não tem acesso a todos os artigos relevantes que possam influenciar suas pesquisas; b) os pesquisadores aproveitariam a oportunidade de acessar e ler tais documentos, até então de acesso fechado, caso fossem disponibilizados livremente na Internet; c) alguns desses documentos seriam considerados relevantes e aplicáveis ao trabalho dos pesquisadores e, portanto, passíveis de serem citados; d) por outro lado, alguns desses trabalhos poderiam ser considerados irrelevantes ou inaplicáveis aos estudos e, assim, não seriam citados. Ou seja, a expectativa era de que essa parte da literatura, até então inacessível, seria tão variada em sua utilidade e influência quanto a sua parte correspondente disponível apenas em acesso fechado. Alguns artigos seriam citados, outros não. Sendo assim, nunca se esperou que o acesso livre produzisse um aumento automático no número de citações de um artigo. Houve, no entanto, a expectativa de que o acesso livre poderia elevar a visibilidade e, assim, o número de citações, como se todas as bibliotecas acadêmicas do mundo de repente assinassem toda a literatura científica disponível.
Esperava-se também, de acordo com Swan (2010), que o impacto na citação variasse de acordo com a disciplina e com o tempo, haja vista que o comportamento de citação geralmente varia de acordo com esses parâmetros. Ou seja, suspeitava-se que o fator de impacto variasse de acordo com: a) a área do conhecimento, sendo maior nas áreas de ciências naturais e medicina, e menor em áreas em que as listas de referências são habitualmente mais parcimoniosas; b) o tempo, especialmente em áreas que sofrem mudanças constantes; e c) a proporção da literatura disponível em acesso livre.
A partir da breve revisão de literatura apresentada aqui, é possível observarmos que, dada a importância da comunicação científica como forma de ampliação dos conhecimentos certificados, quesito essencial ao avanço da ciência, as publicações científicas são extremamente relevantes. Além de ser o principal meio de disseminação de pesquisas acadêmicas, o periódico científico também é visto como uma maneira de os cientistas de destacarem nesse meio. Esse reconhecimento ocorre por meio da avaliação da qualidade acadêmica de um cientista, ou seja, por meio da avaliação de sua produção científica, permitindo estimar a sua autoridade e crédito como forma de medir a sua reputação. As principais medidas utilizadas para indicar o valor de um trabalho acadêmico são: o índice de citação imediata (immediacy index), a meia-vida das citações (cited half-life) e, o mais utilizado deles, o Fator de Impacto (impact factor - fi).
A Internet, por sua vez, cria uma rede de comunicações ainda mais interativa, nela os indivíduos podem criar, publicar, distribuir e comentar; ampliando as formas de produção científica. Todavia, esse espaço de contribuição sem limites colaborou para a geração de uma incontável quantidade de informações, dificultando sobremaneira na localização das informações desejadas. Por causa dessa enorme quantidade de informações disponíveis é que aumentar a visibilidade de suas pesquisas tornou-se ainda mais imprescindível aos cientistas, de modo a conseguir destacar-se e receber o reconhecimento do seu trabalho.
Além disso, a Internet pôde contribuir para a criação de novas possibilidades de comunicação cientifica. Enquanto os periódicos científicos passavam pela “crise dos periódicos”, causada pelos problemas desse meio de comunicação somado ao abuso das editoras comerciais, verificou-se que a Internet era capaz de transformar a comunicação cientifica. Foi nesse contexto que surgiu o movimento em favor do acesso livre à informação científica e os arquivos abertos.
Unindo a importância da visibilidade na comunidade acadêmica às facilidades trazidas pela Internet à comunicação científica, começaram a surgir diversos estudos com a intenção de mostrar a existência da oaca, ou seja, a vantagem na quantidade de citações recebidas por documentos disponibilizados em acesso livre. Todavia, esses estudos são bastante complexos e sofrem influências de diversas variáveis.
PROCEDIMENTOS METODOLÓGICOSEsta pesquisa apresenta caráter exploratório e descritivo, sob o ponto de vista de seus objetivos; é quali-quantitativa em relação à abordagem dos problemas, e, em relação aos métodos empregados, utilizou técnicas de pesquisa documental.
A pesquisa foi classificada do ponto de vista dos seus procedimentos técnicos como uma pesquisa documental, uma vez que se analisou artigos de periódicos científicos como documentos que receberam tratamento analítico conforme os objetivos e as categorias de análise desta pesquisa. O corpus da pesquisa foi então constituído por documentos listados na bibliografia anotada elaborada por Wagner (2010), intitulada “Open Access Citation Advantage: an annotated bibliography”. Trata-se de uma bibliografia, que apresenta os principais e mais recentes estudos nessa área. Dessa bibliografia foram extraídas 43 artigos de periódicos para compor o corpus de análise desta pesquisa, por apresentaram medidas de impactos de interesse desta pesquisa. Assim, os dados foram levantados por meio de fichas documentais com campos para preenchimento correspondentes às categorias de análise. A tabulação desses dados foi feita com o auxílio do software Excel.
Para a análise dos dados foi utilizada a técnica de análise de conteúdo, de modo a deduzir características presentes no material coletado e “compreender para além dos seus significados imediatos” (Bardin, 2004: 24). Bardin (2004) propõe que a análise de conteúdo fundamente-se, basicamente, em três fases: a) a pré-análise, b) a exploração do material e c) o tratamento e interpretação dos resultados. A categorização é o procedimento básico na análise de conteúdo. Categorias, segundo Bardin (2004: 111), são “rubricas ou classes, que reúnem um grupo de elementos (unidades de registro, no caso da análise de conteúdo) sob um título genérico, agrupamento esse efetuado em razão dos caracteres comuns destes elementos”.
Na leitura flutuante do corpus da pesquisa, constatamos que para analisar os documentos seria necessário agrupar os documentos considerando algumas categorias: título, autor, área do conhecimento, técnica empregada e resultados obtidos.
RESULTADOS DA PESQUISA E ANÁLISE DOS RESULTADOSNesta seção são apresentados os resultados da análise de conteúdo, a qual foi amparada em procedimentos quantitativos e qualitativos (Bardin, 2004). Procedimentos quantitativos privilegiam as ocorrências e as frequências, enquanto que os procedimentos qualitativos enfatizam as peculiaridades e estabelecem relações entre elementos abordados nos textos. Os resultados são apresentados por meio de tabelas, seguidos de interpretações baseadas na fundamentação teórica e nas inferências geradas pelas análises realizadas.
O corpus de documentos analisados foi dividido em duas partes: Parte a, composta por estudos que encontraram alguma vantagem de citação para artigos disponíveis em acesso livre (Quadro 3); e a Parte b, formada por artigos que não apresentaram, em seus estudos, vantagem de citação para artigos disponibilizados em acesso livre. Além disso, seguindo a etapa de codificação proveniente da Análise de Conteúdo, e objetivando melhorar a visualização e apresentação das tabelas, os títulos dos artigos analisados são representados por letras e números. As letras correspondem à parte a que pertencem (Parte a ou b) e os números seguem a ordem em que os documentos foram apresentados na bibliografia de Wagner (2010) (Quadro 1).
Corpus da pesquisa – Parte A e B representações dos títulos analisados
| Cod. | Título | Cod. | Título |
|---|---|---|---|
| A01 | Do open-access articles have a greater research impact? | A23 | The open access citation advantage: quality advantage or quality bias? |
| A02 | Open access to scientific literature: increasing citations as an incentive for authors to make their publications freely accessible | A24 | Effect of e-printing on citation rates in astronomy and physics |
| A03 | Earlier web usage statistics as predictors of later citation impact | A25 | Free online availability substantially increases a paper‘s impact |
| A04 | Citation analysis in the open access world | A26 | Non-open access and its adverse impact on molecules |
| A05 | Evolution of open access publishing in chinese scientific journals | A27 | Full open access journals have increased impact factors |
| A06 | Open access publishing for pharmacy-focused journals | A28 | The rise and citation impact of astro-ph in major journals |
| A07 | Does the arXiv lead to higher citations and reduced Publisher downloads for mathematics articles? | A29 | The citation impact of digital preprint archives for solar physics papers |
| A08 | Author-choice open access publishing in the biological and medical literature: a citation analysis | A30 | The citation advantage of open-access articles |
| A09 | Letter to the editor: do open-access articles really have a greater research impact? | A31 | Open access citation rates and developing countries |
| A10 | Open access and global participation in Science | A32 | Sharing detailed research data is associated with increased citation rate |
| A11 | Citation advantage of open access articles | A33 | Effect of open access on citation rates for a small biomedical journal |
| A12 | The impact of open-access self-archiving mandate on citation advantage | A34 | Demographic and citation trends in astrophysical journal papers and preprints |
| A13 | Citing and Reading behaviors in high-energy physic: how a community stopped worrying about journals and learned to love repositories | A35 | The citation performance of open access journals: a disciplinary investigation of citation distribution models |
| A14 | Open access archiving and article citations within health services and policy research | A36 | The effect of open access on citation impact: a comparison study based on web citation analysis |
| A15 | Open access to research increases citation impact | B01 | Open access publishing, article downloads. And citations; randomized controlled trial |
| A16 | Ten-year cross-disciplinary comparison of the growth of open access and how it increases research citation impact | B02 | Getting cited: does open access help? |
| A17 | OA impact advantage = EA + (AA) + (QB) + QA + (CA) + UA | B03 | The effect of use and access on citations |
| A18 | Citation advantage for oa self-archiving is independent of journal impact factor, article age, and number of co-authors | B04 | Open access does not increase citations for research articles from the astrophysical journal |
| A19 | The self-archiving impact advantage: quality advantage or quality bias? | B05 | Does open access in ophthalmology affect how articles are subsequently cited in research? |
| A20 | Confirmation bias and the open access advantage: some methodological suggestions for the Davis citation study | B06 | The effect of open access on citation impact: an analysis of arXiv‘s condensed matter section |
| A21 | Commentary on: citing and Reading behaviors in high-energy physics | B07 | The impact of open access journals: a citation study from Thomson ISI |
| A22 | Comparing the impact of open access (OA) vs. Non-OA articles in the same journals |
Fonte: Dados da pesquisa, 2012.
Seguindo a técnica de análise de conteúdo, nesta fase da pesquisa procurou-se examinar os documentos de forma analítica. Assim, a partir da análise de todos os documentos foi possível observar, primeiramente, que entre os documentos integrantes da Parte A, representada por estudos que encontraram vantagem de citação para artigos disponíveis em acesso livre; existem também artigos que se limitam a comentar ou criticar outras pesquisas. Ou seja, esses estudos não demonstram a existência da vantagem de citação para o acesso livre, mas apenas expõem algumas questões a respeito de estudos que verificaram a presença ou não desta vantagem. Esses estudos, chamados nesta pesquisa de estudos teóricos, expõem suas impressões acerca das metodologias adotadas, amostras escolhidas e resultados obtidos, sempre em favor da existência do oaca.
O Quadro 2abaixo relaciona todas as características que foram encontradas em relação às categorias estabelecidas na fase de leitura flutuante do corpus da pesquisa, conforme já descrito na seção de procedimentos metodológicos
Características encontradas em cada categoria
| Categorias | Características |
|---|---|
| Autor(es) | Abbas Horri, Alberto Accomazzi, Anne Gentil-Beccot, Bruce Lewenstein, Carolyn Grant, Charles Oppenheim, Chawki Hajjem, Dev Kumar Sahu, Daniel Simon, Desy Wahyuni, Devon Greyson, Donna Thompson, Douglas Fridsma, Edwin Henneken, Fytton Rowland, Gillian Hanley, Greg Schwarz, Guenther Eichhorn, Guenther Eichhorn, Gunther Eysenbach, Hajar Sotudeh, Heather Piwowar, Henk Moed, Jacob Reimer, James Evans, James Booth, James Testa, Jennie Lou, Kevin Clauson, Kristin Antelman, Les Carr, Marie McVeigh, Marissa Carter, Markus Demleitner, Mathew Connoly, Matthias Hanauske, Michael Veronin, Michael Fromerth, Michael Kurtz, Michael Norris, Nithya Gogtay, Nicolas Maystre, Nile Khanfar, Patrick Gaule, Philip Davis, Robert Kennicutt, Roger Day, Sandeep Bavdekar, Salvatore Mele, Shengli Ren, Shu-Kun Lin, Steffen Bernius, Stephen Murray, Stevan Harnad, Steve Lawrence, Steven Morgan, Tim Brody, Travis Brooks, Travis Metcalfe, Van Lansingh, Weithong Cheng, Yanjun Zhang, Yassine Gargouri, Yves Gingras |
| Áreas do Conhecimento e Disciplinas | Administração, Área da saúde, Astrofísica, Astronomia, Biologia, Biomedicina, Ciência da computação, Ciência molecular, Ciência Política, Ciências da Vida, Ciências Naturais, Comunicação, Direito, Ecologia, Economia, Educação, Engenharia Elétrica, Engenharia Eletrônica, Engenharia de Materiais, Farmacologia, Filosofia, Física, Física da Matéria condensada, Física de Alta energia, Física solar, Matemática, Multidisciplinar, Negócios, Oftalmologia, Psicologia, Saúde, Serviços e Apólices de Saúde, Sociologia |
| Tipo de Estudos | Estudo empírico e Estudo teórico |
| OACA | Filosofia: 45%, Ciência Politica: 86% Engenharia: 51% Matemática: 91%, Não definido, Não se aplica, 35%, 17% (e 11% se retirar a revista PNAS da amostra), 8%, 100%, 400%, 29%, Biologia: 36% Negócios: 76% Psicologia: 108% Sociologia: 172%, Biologia: 36% Psicologia: 108% Sociologia: 172% Saúde: 57% Ciência Política: 57% Economia: 49% Educação: 77% Direito: 108% Negócios: 76% Administração: 92%, 157%, 100%, 220%, Economia: 62% Matemática Aplicada: 53% Ecologia: 44% Sociologia: 88%, 69%, 365%, Não tem efeito, Não tem causalidade |
Fonte: Dados da pesquisa, 2012.
A fim de ilustrar os resultados obtidos, para as categorias autores foi elaborado um Word Cloud, recurso gráfico que destaca os resultados mais frequentes, fazendo com que esses apareçam em um tamanho maior que os demais. Por intermédio dessa ilustração foi possível visualizar que o autor Stevan Harnad teve grande destaque, provavelmente em razão de ter sido um dos precursores dessa filosofia e ser, ainda hoje, um dos maiores defensores e ativo promotor do acesso livre (Figura 1).
Da análise do corpus da pesquisa percebemos, primeiramente, que existem 36 estudos defendendo a existência de oaca contra apenas 7 estudos afirmando que não é possível comprovar que essa vantagem, de fato, existe (Parte A x Parte B). Assim, em análise mais superficial esse fato parece corroborar com a ideia de que existe vantagem real de citação para documentos disponíveis em acesso livre, entretanto, com base em análises mais aprofundadas realizadas nesta pesquisa e apresentadas no decorrer desta seção, constatamos que essa impressão precisa ser relativizada.
O primeiro ponto a ser observado diz respeito à quantidade de estudos na Parte A, os quais defendem que o acesso livre contribui para o aumento no número de citações recebidas por um determinado artigo ou pesquisa. É possível perceber que, dos 36 estudos relacionados, nove são estudos teóricos, que não apresentam nenhum cálculo que comprove a existência da oaca. Dos 27 estudos restantes, apenas 10 apresentam cálculos para a oaca; sete não apresentam cálculos definidos, apenas declaram que o acesso livre auxilia no aumento do número de citações em proporções como o dobro, o triplo etc.; e os outros 10 restantes se utilizaram de outras formas para defender a vantagem trazida pelo acesso livre e não calcularam o oaca. Sendo assim, dentre a amostra selecionada para a presente pesquisa, somente 10 artigos, de fato, calcularam o oaca de modo a tentar comprovar a existência dessa vantagem.
Analisando os artigos que realmente calcularam o oaca (tanto da Parte a quanto da Parte b) e relacionando esses cálculos às áreas de pesquisa do conhecimento em que se inserem esses estudos, constatamos a presença de 26 disciplinas diferentes, a saber: Física (7 estudos), Muldisciplinares (7 estudos), Matemática (5), Biologia (4), Astronomia, Psicologia e Saúde (3 estudos cada uma), Astrofísica, Biomedicina, Ciência molecular, Ciência Política, Economia, Engenharia e Negócios (2 estudos cada uma), Administração, Ciência da computação, Ciências da vida, Ciências Naturais, Comunicação, Direito, Ecologia, Educação, Farmacologia e Filosofia (1 estudo cada uma). As disciplinas mais frequentes nos estudos, conforme visto, são, em primeiro lugar, a Física (7 estudos), seguida da Matemática (5 estudos), e Biologia (4 estudos). Os estudos com abordagem multidisciplinar também ocupam lugar de destaque, como visto, contam com 7 estudos. A soma dos estudos abordando essas quatro disciplinas acima indicadas representa mais da metade do total da amostra (53%) desta pesquisa.
Um detalhe interessante é que algumas disciplinas estão representadas tanto em estudos que comprovam a existência do oaca (Parte A), quanto naqueles estudos que afirmam não existir influência do acesso livre no incremento do número de citações recebidas por um determinado artigo. Dos sete estudos representados na Parte B, seis se enquadram nessa situação. É o caso das disciplinas Psicologia, Biologia, Astronomia, Astrofísica e Física, além dos estudos multidisciplinares. Cabe ressaltar que alguns estudos aqui representados abordaram mais de uma disciplina, bem como alguns estudos teóricos foram delimitados para uma área de concentração do conhecimento específica.
Considerando apenas os estudos da Parte A que apresentam valores para oaca (esses estudos estão relacionados no Quadro 3) e relacionando-os com as suas respectivas áreas de concentração, podemos visualizar quais são as áreas de estudo que concentram as maiores taxas de oaca. Vale lembrar que algumas disciplinas apareceram em mais de um estudo e, por esse motivo, aparecem com duas ou três barras no gráfico, dependendo de quantas vezes foram abordados em estudos diferentes. Verifica-se que os maiores valores de oaca pertencem à Física de Alta energia (400%), Biomedicina (365%), Sociologia (172% em um estudo e 88% em outro), Ciência da computação (157%), Direito (108%) e Psicologia (108%). No caso específico da Psicologia, cabe ressaltar que ao mesmo tempo em que aparece em um dos estudos com o maior percentual de oaca, também foi indicada em um estudo em que os autores Davis et al. (2008: 4) afirmam que, apesar do acesso livre contribuir para o aumento do número de leitores para um determinado artigo, “não tem nenhuma relação com o aumento do número de citações após o primeiro ano de publicação”.
Estudos que calcularam o oaca
| Título | Disciplinas | Tipo de estudo | OACA | |
|---|---|---|---|---|
| 1 | A01 | Filosofia, Ciência Política, Engenharia Elétrica, Engenharia Eletrônica e Matemática | Estudo empírico | Filosofia: 45% Ciência Politica: 86% Engenharia: 51% Matemática: 91% |
| 2 | A07 | Matemática | Estudo empírico | 35% |
| 3 | A08 | Biologia e Biomedicina | Estudo empírico | 17% (e 11% se retirar a revista PNAS da amostra) |
| 4 | A10 | Multidisciplinar | Estudo empírico | 8% |
| 5 | A11 | Multidisciplinar | Estudo empírico | 100% |
| 6 | A13 | Física de Alta energia | Estudo empírico | 400% (5 vezes mais) |
| 7 | A14 | Serviços e Apólices de Saúde | Estudo empírico | 29% |
| 8 | A15 | Biologia, Negócios, Psicologia e Sociologia | Estudo empírico | Biologia: 36% Negócios: 76% Psicologia: 108% Sociologia: 172% |
| 9 | A16 | Biologia, Psicologia, Sociologia, Saúde, Ciência Política, Economia, Educação, Direito, Negócios, Administração | Estudo empírico | Biologia: 36% Psicologia: 108% Sociologia: 172% Saúde: 57% Ciência Política: 57% Economia: 49% Educação: 77% Direito: 108% Negócios: 76% Administração: 92% |
| 10 | A25 | Ciência da computação | Estudo empírico | 157% |
| 11 | A26 | Ciência molecular | Estudo empírico | 100% e 220%* |
| 12 | A28 | Astronomia | Estudo empírico | 100% (o dobro) |
| 13 | A29 | Física solar | Estudo empírico | 100% (o dobro) |
| 14 | A30 | Economia, Matemática Aplicada, Ecologia, Sociologia | Estudo empírico | Economia: 62% Matemática Aplicada: 53% Ecologia: 44% Sociologia: 88% |
| 15 | A32 | Área da saúde (câncer) | Estudo empírico | 69% |
| 16 | A33 | Biomedicina | Estudo empírico | 365% |
| 17 | A34 | Astrofísica | Estudo empírico | 100% (o dobro) |
| 18 | A36 | Comunicação | Estudo empírico | 100% (o dobro) |
Fonte: Dados da pesquisa, 2012.
Outra observação interessante, que pode ser feita a partir da análise das disciplinas, está relacionada ao comportamento de pesquisa e de citação dos pesquisadores em cada uma dessas áreas do conhecimento, bem como da aceitação ou não desses pesquisadores quanto ao movimento de acesso livre. Primeiramente temos indícios de que algumas áreas como a Física e a Matemática já adotaram e estão bastante adaptadas à filosofia e às práticas de acesso livre, o que em muito colabora para o sucesso das vantagens atribuídas a esse movimento. É de se esperar que uma disciplina em que seus pesquisadores não tem conhecimento das vantagens ocasionadas pelo acesso livre não estejam inclinados a publicar seus estudos abertamente, e, dessa forma, é impossível que desfrutem do aumento do número de citações que possa vir a ser ocasionado pelo acesso livre, caso ele realmente exista.
Um ótimo exemplo da influência que a cultura comportamental dos cientistas de cada área exerce sobre os resultados favoráveis atribuídos ao acesso livre se encontra na Física. Desde o surgimento do arXiv, o principal repositório de acesso livre existente na atualidade, “o comportamento de citação dos físicos mudou”, provavelmente por conta da rápida disseminação provocada por esse repositório, colaborando para uma significativa diminuição no “ciclo ler – citar – ler” (Brody, Harnad e Carr, 2006: s.p.). Os dados apresentados nesta pesquisa permitem inferir que a adoção e a utilização da modalidade de acesso livre para publicação são significativas entre os físicos, o que está intimamente relacionado aos altos índices de oaca apresentados nos estudos analisados.
Ademais, é preciso levar em consideração que pesquisadores de algumas disciplinas tem o hábito de citar mais do que outras, além do fato de que existe também uma diferença em relação ao tempo de citação: em algumas disciplinas, a obsolescência dos assuntos ocorre em menos tempo do que em outras, de forma que a meia-vida das citações é relativamente menor do que em disciplinas em que a obsolescência dos assuntos ocorre em um período de tempo muito maior, como é o caso da Matemática. Aliás, ao observar os três estudos que calcularam o oaca na área da Matemática, verificamos resultados desses cálculos bem distintos: 35%, 53% e 91%. É claro que existem outros fatores que podem influenciar os resultados desse cálculo, tal como a amostra e metodologia adotadas (aspectos esses que também serão analisados nesta seção).
Considerando apenas os resultados apresentados até aqui, podemos inferir que algumas disciplinas tem maior preocupação em verificar a existência de vantagem no número de citações causada pelo acesso livre. Sabe-se também que o comportamento dos pesquisadores em relação à aderência ao acesso livre e à citação tem grande influência sobre o número de citações recebidas para cada área. Todavia, não é possível relacionar o oaca diretamente com a disciplina, uma vez que existem outros fatores determinantes nessa relação.
Técnicas de avaliação empregadasA fim de comparar as metodologias de pesquisa adotadas em cada estudo do corpus da pesquisa, observamos quais foram as técnicas empregadas para a verificação da existência ou não da vantagem de citação proveniente do acesso livre e suas prováveis limitações. Ao identificar as técnicas utilizadas em cada estudo verificamos, primeiramente, que nem todos os artigos chegam a, de fato, calcular o oaca para a amostra selecionada. Essa observação corrobora com o que foi dito anteriormente, que, na amostra selecionada da presente pesquisa, alguns estudos são classificados como estudos teóricos, que na acepção desta pesquisa agrupam estudos que não apresentam cálculos efetivos ou exemplos práticos. Na amostra também estão os estudos empíricos realizados com dados concretos e que relatam observações feitas a partir de estudos de casos de acesso livre relacionados às disciplinas. No entanto, nesses estudos empíricos encontram-se pesquisas que não calculam a vantagem de citação para o acesso livre propriamente dita bem como, pesquisas que, apesar de realizadas com base em dados concretos de práticas, não apresentam resultados de cálculos de oaca. Considerando que o objetivo desta pesquisa é analisar os resultados dos estudos que procuraram definir um valor para o oaca, como prova ou não de sua existência, iremos considerar, para a análise das metodologias empregadas, apenas aqueles estudos que calcularam um valor para o oaca (Quadro 3). Dessa forma, é possível relacionar os oacas encontrados à metodologia e instrumentos empregados e à amostra escolhida.
Existem, ao todo, 18 estudos enquadrados nesses aspectos, todos pertencentes à Parte A. Para cada um desses estudos foi verificada a técnica adotada, ou seja, como foi calculada a vantagem de citação proveniente do acesso livre.
Foram observados sete tipos de análises diferentes, todas tecendo comparações entre a quantidade de citações recebidas para dois grupos distintos, conforme mostra o Quadro 4. É possível perceber que, basicamente, os estudos se empenham em comparar os dados de citações recebidas por artigos em que o acesso é restrito com os dados de citações recebidas por artigos disponibilizados em acesso livre. As principais diferenças observadas entre esses estudos se encontram na forma em que se dá esse acesso livre, no tamanho da amostra e no período dessa amostra, itens que serão discutidos mais a frente.
Comparações encontradas nos estudos
| Comparações | Estudos | |||
|---|---|---|---|---|
| Comparação A | Artigos publicados em periódicos científicos (NOA) | X | Artigos publicados nesses mesmos periódicos científicos e que possuem versões oa | A1, A14, A15, A16, A25, A30 |
| Comparação B | Artigos publicados em periódicos científicos (NOA) e não arquivados no arXiv | X | Artigos publicados nesses mesmos periódicos científicos que foram arquivados no arXiv | A07, A13, A28, A29, A34 |
| Comparação C | Artigos publicados em periódicos científicos (NOA) | X | Artigos publicados nesses mesmos periódicos mas que foram transformados em oa (autor-paga) | A08, A11 |
| Comparação D | Artigos publicados em periódicos científicos (NOA) | X | Versões oa desses artigos (devido ao fato dos periódicos disponibilizarem, depois de um certo tempo, acesso livre aos seus artigos ou, depois que passaram a oferecer versão online de suas revistas, colocaram-nas em oa) | A10 |
| Comparação E | Artigos NOA publicados em periódicos híbridos | X | Artigos oa publicados nos mesmos periódicos híbridos | A26 |
| Comparação F | Ensaios clínicos NOA | X | Ensaios clínicos oa | A32 |
| Comparação G | Artigos publicados em um periódico NOA | X | Artigos publicados em um periódico oa | A36 |
| Comparação H | Artigos publicados em um periódico científico antes de se tornar oa | X | Artigos publicados nesse mesmo periódico depois de ter se tornado oa | A33 |
Fonte: Dados da pesquisa, 2012.
De acordo com o Quadro 4, percebemos que as técnicas adotadas pela maioria dos estudos aqui analisados são: a) a comparação entre o número de citações recebidas por artigos publicados em periódicos científicos de acesso restrito e o número de citações recebidas por artigos publicados nesses mesmos periódicos mas que também possuem versões em acesso livre e b) a comparação entre a quantidade de citações recebidas por artigos publicados em periódicos científicos e não depositados em nenhum repositório eletrônico, e os artigos publicados nesses mesmos periódicos mas que, ao mesmo tempo, foram depositados em algum repositório. Dentre os estudos da nossa amostra, para cada uma dessas técnicas foram realizados seis e cinco estudos respectivamente, ou seja, juntas, essas duas técnicas são adotadas por 61% dos estudos analisados.
Apesar de inúmeros debates acerca das técnicas adotadas nos estudos que calculam o oaca, ainda não existe um consenso sobre a melhor forma de realizar esse cálculo. Para Greyson et al. (2009: 52), os maiores desafios consistem em “avaliar o impacto de uma publicação, determinar os comparativos adequados para as publicações oa (se um determinado artigo é oa ou não) e desvendar a complexa rede de fatores que podem contribuir para o uso ou impacto de um trabalho”. Além disso, as discordâncias permanecem no que tange às definições das amostras a serem estudadas, desde o tamanho delas, o período de tempo em que serão coletadas até as suas origens, se serão da via verde ou via dourada, ou nas duas vias ao mesmo tempo. No caso de comparações entre dois periódicos, por exemplo, Greyson et al. (2009: 52) lembram que “não existem duas revistas que sejam exatamente comparáveis”, isso porque diferenças editoriais e de comportamento dos seus leitores e/ou pesquisadores podem ser características demasiadamente complexas de serem medidas, o que, de certa forma, influencia na mensuração de qualquer vantagem oa.
Em relação às diversas formas de acesso livre que aparecem nos estudos analisados, encontramos: a) versões de artigos publicados em periódicos científicos de acesso restrito e que foram auto-arquivadas em acesso livre em outros locais pelos próprios autores; b) artigos depositados em repositórios eletrônicos, como o arXiv; c) artigos publicados em periódicos que oferecem aos autores a possibilidade de pagar uma taxa para ter o seu trabalho disponibilizado em acesso livre dentro do próprio sítio da editora; d) artigos publicados em periódicos em que existe uma política de transformar todos os artigos em acesso livre depois de um determinado período; e) artigos publicados em periódicos que permitem tanto o acesso livre quando o acesso por assinatura; f) artigos publicados em periódicos de acesso totalmente aberto, e g) artigos publicados em periódicos que, depois de algum tempo de existência, resolveram adotar a política de acesso livre, passando todos os seus artigos para esse tipo de acesso.
Outro ponto relevante refere-se ao instrumento escolhido pelos pesquisadores para coletar as versões oa dos artigos. O Quadro 5 relaciona os buscadores utilizados para localizar versões oa dos artigos de acesso restrito e os instrumentos empregados para verificar os dados de citação. A maioria dos estudos buscaram versões oa dos artigos analisados por meio do buscador Google ou no repositório arXiv. Além desses instrumentos, também foram utilizados o PubMed, Yahoo!, MetaCrawler, Vivissimo, Eo Database Search, AlltheWeb, Altavista, Research Index, msu, OAIster, Opendoar, Google Scholar, aas, Stanford Microarray Database (smd), Gene Expression Omnibus (geo), ArrayExpress, Cibex, e o Gene Expression Data Portal (gedp). É importante ressalvar que nem todas as pesquisas analisadas adotaram instrumentos de busca de versões oa, assim como alguns estudos adotaram mais de um instrumento de busca, tal como pesquisas que utilizaram robôs para coletar as versões oa de um artigo e esses robôs faziam buscas em diversos meios diferentes (como exemplo, o robô utilizado nos dois estudos de Hajjem, que faz buscas no Yahoo!, Metacrawler, Vivissimo, Eo, Alltheweb e Altavista). Além disso, é evidente que a escolha desses instrumentos é influenciada pela amostra a ser estudada, haja vista que a adoção, por exemplo, do arXiv, não se aplica a disciplinas diferentes de física, matemática, ciência não linear, ciência da computação, biologia quantitativa, finanças quantitativas e estatística; áreas cobertas por esse repositório.
Instrumentos utilizados para coleta da Versão oa e Dados de Citação
| Título | OACA | Coleta da Versão oa | Dados de Citação |
|---|---|---|---|
| A01 | Filosofia: 45% Ciência Politica: 86% Engenharia: 51% Matemática: 91% | ISI | |
| A07 | 35,00% | arXiv | MathSciNet |
| A08 | 21%/17% (e 11% se retirar a revista PNAS) | ISI | |
| A10 | 8,00% | ISI | |
| A11 | 25%, 40% e 100% (aproximadamente) | ISI | |
| A13 | OACA para Repositórios (green oa, arXiv) = 5x mais (400%) OACA para periódicos oa (gold oa) = 0% | arXiv | SPIRES |
| A14 | 29,00% | Google e PubMed | ISI |
| A15 | Biologia: 36% Negócios: 76% Psicologia: 108% Sociologia: 172% | Robô (Yahoo, Metacrawler, Vivissimo, Eo, Alltheweb e Altavista). | ISI's Science and Social Science Citation Indices (SCI and SSCI), |
| A16 | Biologia: 36% Psicologia: 108% Sociologia: 172% Saúde: 57% Ciência Política: 57% Economia: 49% Educação: 77% Direito: 108% Negócios: 76% Administração: 92% | Robô (Yahoo, Metacrawler, Vivissimo, Eo, Alltheweb e Altavista). | ISI's Science and Social Science Citation Indices (SCI and SSCI), |
| A25 | 157,00% | Research Index | Research Index |
| A26 | 100% e 220% | _ | _ |
| A28 | OACA médio de 100% | arXiv | ADS |
| A29 | OACA MSU = 85% OACA astro ph = 130% | arXiv ou MSU | ADS |
| A30 | 57% (53% matemática, 44% ecologia, 62% economia, 88% sociologia) | OAIster, OpenDOAR, Google e Google Scholar | ISI |
| A32 | 69% | SMD, GEO, ArrayExpress, Cibex, e GEDP | ISI |
| A33 | 365% | _ | _ |
| A34 | 100% | arXiv e AAS | ADS |
Fonte: Dados da pesquisa, 2012.
De acordo com Norris et al. (2008: 1966), “encontrar versões oa na internet de artigos publicados em acesso tradicional pode ser bastante complicado e enganoso”. Considerando que essa busca pode ser realizada manualmente ou com o auxílio de robôs, pode-se afirmar que em ambas as formas encontramos limitações, visto que podemos encontrar falsos resultados, como artigos considerados oa quando são, na verdade, de acesso restrito. Além disso, ao utilizar motores de busca é possível não encontrar a versão de um determinado artigo, mesmo que, de fato, ela exista.
Outra dificuldade encontrada ao se pesquisar versões oa de artigos na internet é a inconsistência dos links. Diversos artigos que aparentam ter um endereço online de acesso livre apresentam problemas nos seus links e acabam sendo contados como artigos de acesso tradicional (restrito a assinantes), apesar de que, em uma pesquisa posterior, possam aparecer como artigos oa. Uma maneira de diminuir o efeito desses problemas, de acordo com Norris et al. (2008), é utilizar, para uma determinada pesquisa, dois motores de busca, os metadados de um repositório e uma busca complementar em buscadores, como o Google.
A fim de comprovar a eficiência dos principais motores de busca utilizados nas pesquisas, Norris et al. (2008) realizaram um pequeno estudo piloto, contendo 100 artigos de diferentes disciplinas. O título de cada um desses artigos foi introduzido como uma frase nos motores de busca Yahoo!, Google e GoogleScholar. Observou-se que o Yahoo! obteve o pior desempenho dentre os três buscadores, uma vez que os outros dois encontraram resultados além daqueles encontrados pelo Yahoo!. Ademais, o Google e GoogleScholar tiveram pouca sobreposição entre os seus resultados e recuperaram resultados únicos de artigos oa, sugerindo que, se utilizados em combinação, podem conseguir um resultado mais completo do que se usados separadamente.
Outro instrumento utilizado para busca de material oa é o oaister, um catálogo coletivo de milhões de registros representando recursos de acesso livre, construído para coletar coleções oa em todo o mundo usando o Open Archives Initiative Protocol (oai-pmh). Até março de 2012 o oaister contava com mais de 25 milhões de registros advindos de mais de 1.100 colaboradores (http://www.oclc.org/oaister/). Nesse sentido, dispomos também do Opendoar, um diretório oficial de repositórios acadêmicos de acesso livre, em que cada repositório listado no Opendoar é previamente analisado pela equipe do projeto de modo a garantir um alto grau de qualidade e consistência nas informações fornecidas (http://www.opendoar.org/about.html).
Norris et al. (2008), mais uma vez, testaram a eficiência desses instrumentos de coleta de dados e verificaram que, em comparação ao sucesso do Google e GoogleScholar, o sucesso do oaister e Opendoar foi relativamente baixo. Somente em determinadas áreas, como Economia e Matemática, que possuem repositórios disciplinares altamente reconhecidos; o oaister e Opendoar tiveram êxito. Para se ter uma ideia, dos 2.280 itens oa escolhidos como amostra para testar a eficiência entre os buscadores, apenas 14% foram encontrados por meio do oaister e Opendoar, sendo que os 86% restantes foram obtidos com o auxílio do Google e GoogleScholar. Foram esses resultados que levaram os autores a constatarem que a utilização de mais de um motor de busca minimiza os efeitos dos entraves encontrados na busca por versões oa dos artigos que integram a amostra dos estudos.
Além do Google, outra ferramenta de busca bastante utilizada nos estudos aqui analisados para encontrar versões oa dos artigos é o arXiv. O arXiv é um banco de dados online de artigos de pesquisa que foram auto-arquivados por seus autores. Apesar dos artigos submetidos a esse repositório necessitarem respeitar os padrões acadêmicos da Universidade de Cornell, instituição que abriga o arXiv; são aceitos tanto artigos preprints (artigos que ainda não foram publicados oficialmente e, portanto, ainda não passaram pela revisão por pares) quanto posprints (artigos que já foram revisados por pares). Ao depositar uma cópia integral de seu artigo no arXiv os autores fornecem os metadados desse artigo, incluindo o título do artigo, lista de autores, resumo e, se desejar, a referência do artigo (local onde foi ou será publicado). Em seguida, os artigos são categorizados por temas, ou seja, cada artigo é depositado em sub-arXivs que correspondem à disciplina em que estão inseridos (http://arXiv.org/help/primer).
Até março de 2012, o arXiv contava com 747.572 artigos depositados, sendo um dos mais importantes (se não o mais importante) repositório de acesso livre. Esse fato contribui para que o arXiv seja amplamente utilizado pelos pesquisadores das áreas cobertas por esse banco de dados e, tornando-o, assim, o principal meio de comunicação científica para esses pesquisadores. Em algumas áreas, como a Física, em que o arXiv é altamente difundido, os pesquisadores acabaram por modificar seus comportamentos de publicação e, atualmente, a comunicação científica é altamente dependente desse repositório, de modo que a participação dos autores no autoarquivamento é bastante satisfatória.
Em relação aos instrumentos utilizados para coletar as informações sobre a quantidade de citações recebidas por cada artigo encontramos, na amostra analisada, o isi, MathSciNet, spires, ads e Research Index. Dentre os estudos que calcularam o oaca, 58,8% (10 estudos) utilizaram o isi, e o segundo instrumento de coleta de citações mais utilizado foi o ADS, aparecendo em 23,5% (4) dos estudos.
Embora não seja uma medida perfeita, grande parte dos estudos analisados sustenta que a vantagem do acesso livre está relacionada ao Fator de Impacto (fi) e/ou contagem de citações do artigo feita pelo Institute for Scientific Information (ISI) e divulgado por meio do Journal Citation Reports (jcr). O fi “tem sido muito criticado por seus vieses, erros e vulnerabilidade à manipulação dos editores” (Greyson et al., 2009: 52), mas continua a ser significativo em muitos processos de revisão devido à sua estabilidade. Além disso, é uma medida antiga de prestígio dos periódicos, sendo ainda valorizada por diversas instituições. Várias medidas alternativas de impacto de periódicos e de artigos foram desenvolvidas e estão sendo testadas, no entanto, nenhuma conseguiu, claramente, ocupar o posto de novo padrão (Greyson et al., 2009).
Uma das principais críticas ao uso do fi na avaliação de pesquisas, de acordo do Lansingh e Carter (2009), se deve ao fato de que esse indicador está suscetível a manipulações por parte de editores que o fazem com o intuito de aumentar o fi de seus periódicos. Essa ação pode ocorrer por meio da inclusão de materiais sem fontes bibliográficas em um periódico, tais como cartas ao editor citando artigos anteriormente publicados nesse mesmo periódico. Dessa forma, o número de citações na parte do numerador do cálculo do fi será aumentado enquanto que o denominador permanecerá o mesmo, elevando o valor final para o fi. Esse mesmo efeito pode ocorrer ao se escrever editoriais que citam artigos ou ao dividir uma única pesquisa em mais de um artigo. Por fim, o “fi tem sido criticado por não refletir a qualidade da pesquisa, visto que essa avaliação deve ser realizada por meio de revisões críticas” (Lansingh e Carter, 2009: 1426).
Para Harnad e Brody (2004), a melhor maneira de testar a vantagem de impacto de citação proveniente do acesso livre se dá não pela comparação de fatores de impacto de citação entre artigos oa e artigos noa; mas sim pela comparação entre o número de citações recebidas individualmente por artigos oa e artigos noa que aparecem no mesmo periódico. Todavia, Norris et al. (2008: 1965) argumentam que “esse tipo de comparação depende do fato de que esses artigos precisam acumular citações que permitam ser contadas e, então, comparadas”. Considerando que uma parcela considerável de artigos não recebe nenhuma citação, selecionar a amostra a ser pesquisada levando em consideração o fi do periódico significa aumentar a chance de que essa amostra tenha um número de citações significativo, tanto para os artigos oa quanto para os artigos noa. Isso ocorre porque, conforme exposto na revisão bibliográfica, o fi é calculado a partir do número de citações ocorridas para todos os documentos publicados em um periódico durante um período de dois anos e, em seguida, dividindo este número pelo número de itens citáveis desse periódico durante o mesmo período. Logo, é possível afirmar que um periódico com um alto fi recebeu uma quantidade considerável de citações. Isso nos leva a crer que essa seja a principal razão pela qual os pesquisadores empenhados em verificar a existência da vantagem de citação proveniente do acesso livre adotem o fi em seus estudos, ou seja, a assimilação entre o fator de impacto e a quantidade de citações.
Entretanto, o uso do fi na avaliação de pesquisas tem sido criticado por alguns autores, tais como Seglen (1997) e Katz (2000). Katz (2000) afirma que o fi e outros indicadores dele derivados assumem que duas variáveis são independentes. Nesse sentido, “eles deturpam a natureza real do sistema e, frequentemente, superestimam ou subestimam o desempenho da pesquisa de grupos, instituições e nações, grandes ou pequenos” (Sotudeh e Horri, 2007: 2146).
Em um dos estudos analisados na presente pesquisa os autores Sotudeh e Horri (2007) optaram por utilizar, em substituição ao fi, um indicador chamado Impacto de Citação Relativo Ajustado (arci). Esse indicador foi introduzido por Katz e se dá pela divisão entre o número de citações recebidas por uma entidade e o número médio de citações que um campo desse tamanho deveria atingir no oaj Science System (oajss) ou na sua disciplina individual. Considerando que essa equação se baseia em uma relação não linear, os autores afirmam que “esse indicador reflete uma avaliação mais equitativa para a produção literária de diferentes instituições de pesquisa”. Ademais, ajustando o impacto de modo a compensar o efeito do tamanho das amostras, o “arci ajuda a comparar campos de diferentes tamanhos dentro do mesmo sistema” (Sotudeh e Horri, 2007: 2146). Os autores garantem que, como resultado, as variações de tamanho e de padrões de citação e publicação, os quais causam desvios ou distorções nas comparações entre os campos, podem ser evitadas.
Limitações encontradasUma limitação que se aplica a todos os estudos analisados na presente pesquisa é o fato de serem todos estudos observacionais. De acordo com Davis (2009: 7), os estudos observacionais “podem ser incapazes de controlar adequadamente fatores externos que possam explicar os resultados observados”. Ou seja, muito provavelmente os estudos observacionais são “incapazes de lidar com características dos artigos que não são observáveis ao pesquisador tal como a novidade do assunto pesquisado (um assunto ainda inexplorado) e o impacto científico esperado”, fatores esses que podem influenciar, por exemplo, que os autores paguem a taxa, quando disponível, para transformar seus artigos em acesso livre (Davis, 2009: 7).
Outra limitação que está sujeita a acontecer em grande parte dos estudos analisados está relacionada à busca por versões oa de artigos de acesso restrito. Conforme dito anteriormente, tanto os robôs construídos especificamente em determinados estudos quanto os motores de busca amplamente conhecidos e utilizados por pesquisadores podem trazer resultados enganosos, como documentos que estão disponíveis em oa serem considerados de acesso restrito, bem como o inverso, artigos de acesso restrito ser mostrados como artigos oa. Considerando que o cálculo do fi é dependente desses números, erros nessas quantificações podem traduzir resultados não compatíveis com a realidade.
A volatilidade do conteúdo da internet também influencia nessa limitação. A possibilidade de páginas da Web simplesmente deixarem de existir, bem como o fato de “autores que postam preprints de seus estudos e, depois que o artigo é publicado em um periódico revisado pelos pares, o link para o preprint é substituído por um link para a página da editora, de acesso restrito”; são fatos que ocorrem com uma frequência razoável. Sem contar que pode ocorrer de alguns títulos sofrerem alterações tão significativas entre as versões pre e posprint que acabam sendo identificados como dois artigos distintos (Antelman, 2004: 376).
A instabilidade no status oa também é um entrave que pode influenciar os resultados das pesquisas. Isso ocorre quando alguns artigos são disponibilizados em acesso livre e, depois de certo tempo, passam a ser artigos de acesso restrito. Além de prejudicar a fidelidade dos resultados da pesquisa, também pode contribuir para o fato de pesquisas realizadas posteriormente encontrarem resultados divergentes de pesquisas anteriores, mesmo que em pequenas proporções.
É preciso considerar também que nem todas as associações encontradas nos estudos analisados, tais como o aumento do número de citações e acesso livre, implicam em causalidade. Isso significa que, o fato de um artigo receber muitas citações pode não ser, exclusivamente, resultado do tipo de acesso do mesmo. Piwowar et al. (2007: 3) exemplificam essa limitação ao afirmar que um artigo de alta qualidade, muito importante para uma determinada área, iria, naturalmente, receber muitas citações por conta de sua relevância, da mesma forma que os pesquisadores são mais propensos a compartilhar os dados dessa pesquisa do que dados de pesquisas menos relevantes ou com resultados menos confiáveis. Além disso, por mais que os estudos demonstrem a existência de uma vantagem de citação para os artigos de acesso livre, nem sempre conseguem demonstrar com clareza a causa dessa vantagem.
Um importante entrave presente nos estudos que se baseiam em citações é que eles desconsideram os chamados leitores invisíveis, ou seja, os leitores que, apesar de utilizarem os artigos, não publicam em periódicos científicos e, portanto, não citam (ao menos publicamente, em outros artigos acadêmicos) aqueles artigos. Gaule e Maystre (2008: 11) lembram que, embora os principais leitores de trabalhos científicos sejam os cientistas, “estudantes e profissionais ocasionalmente também lêem esses materiais”.
Há que se considerar também que o comportamento de citação dos cientistas, tanto em relação à adoção do acesso livre, quanto em relação às citações, varia de acordo com as disciplinas em que estão inseridos, e isso pode se caracterizar como uma limitação, já que esse é um fator que não pode ser controlado e que pode influenciar bastante os resultados encontrados para o oaca. Além disso, devido a esse fator, os resultados encontrados nos estudos não podem ser generalizados para todas as áreas de estudo do conhecimento. E é também por esse mesmo motivo que o fi só deve ser considerado para comparações entre periódicos ou artigos inseridos na mesma disciplina.
O comportamento de citação dos cientistas refere-se ao modo e a frequência com que os pesquisadores citam outros trabalhos. Na área da Matemática, por exemplo, é possível observar um ritmo mais lento de citações, uma vez que citam, principalmente, artigos mais antigos. Existe, então, uma forte tendência a um pequeno número de artigos recebendo um grande número de citações, ao passo que muitos estudos permanecem sem serem citados. Quanto ao comportamento dos pesquisadores em relação à adoção do acesso livre, pode-se inferir que, obviamente, áreas em que não existe a cultura de utilizar (e confiar) o acesso livre, ou em que essa filosofia não é amplamente difundida; a vantagem de citação para artigos em acesso livre será consideravelmente menor. Ademais, áreas em que o costume de produzir publicações científicas é maior, ou seja, em uma área mais produtiva que as demais, é mais provável que essa receba um maior número de citações que aquelas áreas menos produtivas.
Resultados dos estudos do corpus da pesquisaA última categoria de análise desta pesquisa refere-se aos resultados encontrados nos estudos analisados e seus respectivos valores para o oaca, de forma a verificar se a vantagem encontrada é realmente significativa para defender a vantagem de citação proveniente do acesso livre. Para tal não iremos considerar, nesta análise, os estudos considerados teóricos, em função de que não apresentam valores para oaca e, assim, não é possível verificar a relevância do resultado.
Para essa análise é relevante resgatar um assunto que foi abordado em diversos artigos que integram a nossa amostra, tanto da Parte a quanto da Parte b. Trata-se de um estudo realizado por Kurtz et al. (2005) em que apontam a existência de pelo menos três explicações para os resultados encontrados por Lawrence (2001) e Brody et al. (2004), em que afirmam que artigos disponíveis em acesso livre são substancialmente mais citados que aqueles disponíveis somente em acesso restrito. Essas três explicações são apresentadas em forma de Postulados, a saber:
- •
Postulado de Acesso Livre: “devido ao fato de o acesso aos artigos ser irrestrito a qualquer mecanismo de pagamento, os autores são capazes de lê-los mais facilmente e, assim, citá-los com mais frequência” (Kurtz et al., 2005: 1396).
- •
Postulado de Acesso Antecipado: considerando que os artigos são disponibilizados mais cedo que aqueles publicados em periódicos que adotam a revisão por pares [por conta da morosidade no processo de seleção e revisão], os artigos de acesso livre ganham primazia e tempo adicional na literatura e, assim, recebem mais citações.
Contudo, é importante lembrar que a filosofia do Acesso Livre utiliza sim a revisão por pares.
- •
Postulado de Viés de Auto-Seleção: relacionado ao fato de que os “autores que disponibilizam suas pesquisas em acesso livre tendem a publicar os seus melhores artigos e, portanto, os mais propensos a serem citados”(Kurtz et al., 2005: 1396).
No estudo em que apresentam esses Postulados, Kurtz et al. (2005) constataram que os Postulados de Acesso Antecipado e de Viés de Auto-Seleção são capazes de responder por todos os resultados que encontraram na análise realizada no campo da Astrofísica. No entanto, não conseguiram encontrar nenhum efeito do Postulado de Acesso livre, sugerindo que isso se deve ao fato de que em campos providos de muitos recursos, como é a Astrofísica, os pesquisadores que tem condições para escrever artigos de pesquisa tem acesso completo à literatura científica.
Corroborando o estudo de Kurtz et al. (2005), Moed (2007) analisou como o impacto de citação dos artigos depositados no arXiv, na seção de Física de Matéria Condensada, e posteriormente publicados em periódicos científicos, se compara aos artigos publicados nesses mesmos periódicos, mas que não foram depositados no arXiv. Como resultado, Moed (2007) considera que existe sim um efeito de Acesso Antecipado (a quantidade de citações para os artigos tendem a aumentar com o passar do tempo) bem como o Viés de Auto-Seleção, em que os autores mais importantes estão inclinados a publicar mais artigos e, assim, são super-representados no arXiv. Contudo, assim como Kurtz et al. (2005), Moed (2007) não encontrou o efeito de acesso livre, ou seja, a vantagem para o acesso livre, propondo que o arXiv contribui sim para a aceleração e aumento das citações, mas isso ocorre por causa do efeito de Acesso Antecipado, e não por conta do efeito de acesso livre.
No estudo de Henneken et al. (2006), que conta, inclusive, com a participação de Kurtz, os autores, ao examinarem as mudanças ocorridas no comportamento de citação desde o surgimento do repositório arXiv; afirmam a existência do efeito de Acesso Antecipado. Além disso, considerando que as altas taxas de citação dos artigos depositados no arXiv não podem ser explicadas levando em conta somente o efeito de Acesso Antecipado, os autores concordam com o estudo anterior de Kurtz et al. (2005) e aceitam que “a qualidade dos artigos é uma motivação adicional para disponibilizá-los no arXiv antes de publicá-los em um periódico” (Henneken et al., 2006: s.p.). A diferença desse último estudo em comparação com os dois estudos anteriores deve-se ao fato de afirmar que os artigos depositados no arXiv são duas vezes mais citados que aqueles que não o fazem.
A pesquisa de Davis e Fromerth (2007), por sua vez, compara a quantidade de citações recebidas por artigos publicados em periódicos que foram depositados no arXiv com aqueles que foram publicados nos mesmos periódicos mas que não apresentam uma versão neste repositório. Como resultado observaram que os artigos arquivados no arXiv foram mais citados. Ademais, afirmam que o Postulado de Acesso livre, caso exista, tem um efeito bastante limitado, e concordam com a existência do Postulado de Acesso Antecipado e do Postulado de Viés de auto-seleção.
Os resultados desses estudos que abordaram os Postulados propostos por Kurtz nos fazem perceber um fato que chama a atenção: apesar de alguns estudos afirmarem ter encontrado valores positivos para oaca e outros mostrarem que o oaca é irrelevante ou sem efeito, vários deles demonstram conclusões bastante semelhantes. Isso ocorre no sentido de que, apesar de demonstrarem resultados diferentes no que tange ao oaca, nenhum estudo se posicionou contra a filosofia do acesso livre. Alguns relatam que a vantagem proveniente da utilização do acesso livre é muito grande, outros mostram que não é tão grande, mas significativa e; outros, ainda, mostram que não existe nenhuma relação com o aumento do número de citações; mas todos concordam que o acesso livre é importante para a comunicação científica, baseados no fato de que as publicações em acesso livre podem conseguir alcançar mais leitores do que as publicações em acesso restrito, além de tornar mais conveniente o acesso a textos integrais de artigos científicos.
Do mesmo modo que encontramos artigos da Parte a (documentos que relatam a existência de vantagem de citação proveniente do acesso livre) apresentando baixos índices para o oaca, também encontramos artigos da Parte b (documentos relatando que não existe relação entre o aumento do número de citações e o acesso livre) afirmando que, apesar de não existir causalidade entre o aumento no número de citações e o acesso livre, os artigos disponibilizados livremente na internet recebem mais citações.
Nesse sentido, dentre os estudos que integram a nossa amostra, encontramos diversos fatores que, segundo seus autores, podem explicar as causas para a vantagem encontrada no acesso livre. O aumento da acessibilidade e uso de artigos oa aumenta o número de vezes em que são citados, mas os artigos de alta-qualidade também tendem a ser mais publicados em acesso livre.
É válido ter em mente que mesmo que o acesso livre não influencie no aumento do número de citações, é importante apoiá-lo e reforçá-lo por outras razões. Gaule e Maystre (2008: 11) lembram que o acesso livre pode “economizar o tempo dos leitores, uma vez que possibilita o acesso ao texto completo e evita e necessidade de navegar em uma complicada teia de restrições”. Além disso, o acesso livre pode facilitar a indexação e referência por robôs, como a indexação do Google, tornando a informação científica mais fácil de ser encontrada. Ademais, o oa pode auxiliar bastante na luta contra os abusos do mercado editorial. Davis et al. (2008) corroboram afirmando que para contribuir para a pesquisa científica é necessário ter acesso a recursos e à literatura relevante, o que ainda está altamente relacionado e concentrado na elite da pesquisa científica, ou seja, aqueles que dispõem de recursos para acessar também periódicos de acesso restrito.
Independente dos resultados encontrados, é de extrema relevância considerar que aumentar ou facilitar o acesso não altera a qualidade de um documento. Independente do tipo de acesso, é imprescindível lembrar que o que deve determinar a citação ou não de um estudo, antes de tudo, é a sua qualidade. O acesso livre não transforma artigos não-citáveis em artigos citáveis, isto é, não interfere na sua relevância. Testa e McVeigh (2004) afirmam que o oa certamente auxilia no aumento do número de leitores, o que está relacionado ao aumento da visibilidade, no entanto, até então nenhum efeito prova que essa exposição adicional auxilie na importância e influência do periódico, de modo a torná-lo mais citável.
Em relação à relevância dos resultados obtidos, há que se considerar o fato de que grande parte dos estudos não apresenta um valor para o oaca. Apesar de relatarem que não existe relação entre o aumento do número de citações e o acesso livre, nenhum dos artigos da Parte b mostraram valores, mesmo que negativos, para o oaca. Essa observação serve apenas para constatação, visto que é impossível calcular um valor se não existe a relação entre o número de citações e o tipo de acesso.
Já no caso dos artigos da Parte A, além dos estudos que não relataram nenhum cálculo para a vantagem de citação encontrada para os artigos disponibilizados em acesso livre, nos deparamos com três tipos de resultados diferentes para o oaca: a) resultados expressos em valores numéricos (porcentagens), b) constatação da existência de aumento das citações, sem apresentar cálculos e c) resultados indicados sem muita precisão como o dobro, o triplo etc. Fica claro que o cálculo da vantagem de citação proporcionada pelo acesso livre, de fato, acontece em apenas alguns estudos. Sem contar com os estudos que realizam cálculos, fazem demonstrações estatísticas, mas no fim, apresentam resultados vagos, como quase o dobro ou até cinco vezes mais. Ademais, estudos como o A08 e o A10 apresentaram valores bastante baixos, 17% e 8%, nos resultados alcançados, respectivamente. Considerando os valores nos resultados encontrados em outras pesquisas aqui analisadas, em que a maioria se encontra acima dos 50%, considera-se que esses valores são relativamente fracos, não demonstrando uma vantagem tão grande para os artigos em acesso livre, pelo menos no aspecto do aumento de citações.
A partir das análises apresentadas nos resultados desta pesquisa, constatou-se a existência de diferentes estudos em que foram detectados diversos comportamentos, por parte dos cientistas, quanto à citação. Nesses estudos foram observados também diversos índices quanto à adoção e à utilização do acesso livre, características que variam de acordo com a área do conhecimento e nível de obsolescência do conhecimento, conforme preconizaram Craig et al. (2007). Essa afirmação fica ainda mais evidenciada nos artigos de Antelman (2004), Norris et al. (2008), Gentil-Beccot et al. (2009) e Sotudeh e Horri (2007).
Ainda nessa linha de pensamento, a análise também mostrou que algumas áreas, como a Física e a Matemática, destacam-se no acesso livre, corroborando com Brody, Harnad e Carr (2006) e confirmado por Harnad (2006 e 2009). Além disso, observou-se, conforme proclamado por Antelman (2004), que não é possível fazer uma relação direta entre o oaca e uma determinada disciplina, o que foi confirmado por Craig et al. (2007) e Greyson et al. (2009)
Outro ponto importante que foi destacado em nossas análises é o fato de ainda não existir um consenso quanto à técnica mais adequada para calcular o oaca, considerando que essa é uma tarefa bastante complexa. Esse fator foi enfatizado por Craig et al. (2007) e evidenciado nos estudos de Greyson et al. (2009), Davis e Antelman (2006), Norris et al. (2008) e Gentil-Beccot et al. (2009).
Por fim, vale destacar que o acesso, por si só, não é o único fator determinante para que um documento seja citado, como foi apontado por Craig et al. (2007). Essa afirmação foi fortalecida por Bernius e Hanauske (2009: 8), os quais acreditam que “[…] além do acesso ao trabalho científico, a qualidade do artigo/autor é um importante determinante para a contagem de citações”. Além desses autores, Gargouri et al. (2009), Piwowar et al. (2007), Testa e McVeigh (2004) adotam essa posição.
CONSIDERAÇÕES FINAISA principal constatação deste estudo é que existe sim um grande número de pesquisas que se propõe a verificar a existência da vantagem de citação para o acesso livre. Esses estudos se dividem, basicamente, em defender ou não essa vantagem. Muito é discutido acerca das técnicas de avaliação utilizadas para esse fim, dos cálculos estatísticos corretos, dos instrumentos de coleta de versões oa dos artigos e de dados de citações mais adequados, das amostras capazes de mensurar essa vantagem, do período em que os dados de citações devem ser recolhidos, enfim, existe muita discussão em torno de muitos detalhes que envolvem esta temática. Alguns autores adotam uma posição favorável e outros são desfavoráveis ao fato de que o acesso livre possibilita o aumenta de citações de um texto, mas o fato é que não existe nenhum consenso sobre nenhum dos detalhes citados, ou das categorias analisadas nesta pesquisa. A impressão que passa é que toda essa discussão surgiu a partir da visão apaixonada de alguns defensores convictos do acesso livre que enxergaram no oaca uma ótima maneira de defender as vantagens advindas dessa filosofia. Sem dúvidas, a exposição dessas vantagens é a melhor forma de recrutar novos pesquisadores para colaborarem e usufruírem do acesso livre. Entretanto, essa é uma vantagem que parece gerar mais discussões do que consentimentos ou adesões.
É importante verificar, em primeiro lugar, que apenas o acesso não é condição suficiente para que ocorra a citação, há que se considerar a qualidade e relevância antes de tudo. Entretanto, o acesso é uma condição necessária. Independente de colaborar ou não para o aumento direto no número de citações, o acesso livre aumenta drasticamente o número de usuários potenciais de qualquer artigo, acrescentando aqueles usuários que, se não fosse dessa forma, não teriam como acessá-los. Portanto, é inquestionável que o oa colabora para o aumento do uso e, consequentemente, do impacto da literatura científica. Todavia, correlacionar o acesso livre ao aumento do número de citações é algo bastante complexo e delicado.
Com os resultados desta pesquisa podemos inferir que a adoção ou aceitação das publicações em acesso livre passa a ser um fenômeno relacionado à cultura científica de cada disciplina. A cultura científica e as características das disciplinas também determinam como são realizadas as citações, nesse caso o grau de obsolescência do conhecimento em cada disciplina é o fator preponderante que parece conduzir esse processo. Ademais, a citação está vinculada muito mais à qualidade do que ao fato do documento estar mais acessível ou não. Assim, a suposta visibilidade das publicações em acesso livre, ao menos nos estudos do corpus desta pesquisa, portanto, não pode estar fortemente relacionada ao aumento do impacto das publicações. Não há dúvidas quanto à importância do oa no âmbito da comunicação científica, porém, de acordo com as análises aqui realizadas, depreende-se que usar o oaca como argumento não é exatamente a melhor maneira de defender o acesso livre.
Cabe ressaltar, ainda, que detectamos muitas fragilidades nos estudos realizados e analisados nesta pesquisa, o que nos leva a concluir que é necessário que se estabeleçam critérios mais rigorosos para que os estudos possam fornecer indicadores mais confiáveis para o oaca, visando proporcionar maior racionalidade no tratamento desse assunto, para que a defesa ou não do acesso livre à literatura científica deixe de ser apenas um assunto eivado de paixões.