O intenso debate suscitado pela implantação do Novo-Qualis, que regeu a avaliação CAPES relativa ao triênio 2008-2010 evidencia as dúvidas e controvérsias geradas na comunidade científica. Não cabe agora retomar aquela temática, pois águas passadas não movem moinhos. Porém, o debate patrocinado pela FAPESP e pela BIREME em 12 de setembro passado levantou questões que parecem ser de consenso e que talvez devessem ser objeto de cuidadosa análise ao longo do próximo triênio. As principais podem ser assim resumidas:
- 1.
Metade das áreas de pós-graduação usaram o Impact Factor do Journal of Citation Reports (ISI_Thomson) como único critério para avaliar a produção científica de pós-graduandos e seus orientadores.
- 2.
Outras métricas de avaliação existem e podem ser levadas em consideração.
- 3.
Centenas de periódicos científicos brasileiros podem ter sido classificados abaixo dos níveis adequados.
O uso do Impact Factor ISI como métrica única para avaliação de mérito científico de artigos individuais é extrapolação injustificada de sua aplicabilidade. CLINICS publica neste número editorial1 que merece consideração. O argumento básico reflete um conceito emitido há décadas por Eugene Garfield, o inventor desta métrica: o Impact Factor mede (imperfeitamente) a qualidade dos periódicos, mas em nenhuma hipótese a qualidade de cada artigo ali publicado. Teoricamente, seria muito mais adequado contar o número de citações recebidas por cada artigo como medida de sua qualidade. No entanto, este procedimento teria limitada aplicabilidade para avaliação da produção cientifica dos pós-graduandos e seus orientadores: a produção destes poderia (e deveria) ser assim avaliada, mas a dos pós-graduandos sofreria as consequências do noviciado.
O uso de outras métricas existentes sofre das mesmas limitações: a extrapolação de métrica de periódico ao artigo ali publicado não resiste a qualquer análise teórica. Mas, faute de mieux, sabemos que dificilmente irá o CTC-ES renunciar de todo ao uso de alguma métrica quantitativa para avaliar as ciências duras.
No entanto, seria prudente introduzir corretores de rota para o próximo triênio. A produção cientifica dos orientadores deveria se basear no número de citações de sua produção. Mas não é de se esperar que CAPES abdique de métricas como o fator de impacto para avaliar a produção dos pós-graduandos no campo das ciências duras. No entanto, uma série de medidas corretivas impõe-se para atenuar a insuficiência teórica contida no QUALIS 2008-2010. Para fixar idéias, pensei num slogan-síntese, que se reflete no título deste editorial. O próximo QUALIS deve, no mínimo, contemplar TRÊS ERRES.
ERRE-1: REMOVER periódicos de revisão do sistema QUALIS. Examinei os primeiros 2000 periódicos da coleção JCR-ISI em ordem decrescente de Impact Factor, a procura de periódicos contendo qualquer das seguintes expressões em seus títulos: Reviews, Recent Progress, Critical Evaluation, Advances, etc. O resultado é o que se poderia esperar; artigos de revisão são normalmente mais citados que artigos de pesquisa original, de modo que periódicos de revisão devem situar-se no alto de qualquer ranking baseado em fatores de impacto. E é exatamente isso que acontece: dentre os 20 títulos de mais alto impacto (percentil 97,5), nove (45%) pertencem a essa categoria; dentre os 800 primeiros (percentil 90), contei 147 (18,2%) e dentre os dois mil primeiros (percentil 75), contei 192 (9,6%) periódicos de revisão.2 Por antecipação penitencio-me de quaisquer eventuais pequenos enganos pois estes números resultam de uma contagem a mão dentro do site www.isiknowledge.com. Mas nem mesmo esse possível erro de contagem altera o fato de que o QUALIS 2008-2010 incluiu em sua conta um número muito considerável de periódicos que nada têm a ver com a atividade de publicar ciência original. Se olharmos apenas para as 800 primeiras revistas da coleção, onde estão todos os periódicos QUALIS A de quase todas as áreas de ciências duras vemos que quase 20% deveriam ter sido excluídos. É simples concluir que esta injustificada inclusão deforma seriamente o cálculo dos níveis de corte para as várias tabelas A1, A2, B1 e, em algumas áreas, até mesmo B2 e B3. Esse “overrating” de níveis de corte necessariamente terá resultado num “underrating” da classificação de programas de pós-graduação underrating este que nada tem a ver com os méritos intrínsecos da área avaliada. Feita essa indispensável REMOÇÃO, segue-se como corolário evidente que haverá que se RECALCULAR (poderíamos até batizar este Recálculo como Corolário ERRE-1a) os valores de corte para cada categoria QUALIS.
ERRE-2. RECONHECER outras métricas de avaliação. A primeira das métricas ignoradas pelo QUALIS 2008-2010 foi o cites/document - SCOPUS (www.scimagojr.com). Comparações já publicadas2-4 mostram que existe uma identidade estatisticamente perfeita entre o IF JCR e o ”cites/documents - 2 years” SCIMAGO. O CTC-ES tinha perfeito conhecimento desta importante similitude, mas o argumento ventilado oralmente por alguns de seus membros afirma que o índice SCIMAGO é supérfluo, pois o resultado seria o mesmo, com qualquer dos índices. Isto pode até ser verdade para periódicos do mundo anglo-saxão, que recebem tratamento privilegiado no JCR, mas está longe de refletir a realidade dos periódicos de países de língua latina. Mais significativamente, está muitíssimo longe de refletir a realidade dos periódicos brasileiros. Para a avaliação 2008-2010, apenas 31 periódicos locais receberam classificações QUALIS relativas a seus Impact Factors, num momento em que 204 revistas estavam catalogadas no sistema SCIMAGO. Esta exclusão de 173 títulos brasileiros dos altos QUALIS deve ser descrita como injustificada discriminação anti-periódicos nacionais. É evidente que não houve intenção discriminatória, mas o resultado desta mal pensada análise teve essa danosa conseqüência.
A segunda métrica ignorada pelo QUALIS 2008-2010 foi o FATOR DE IMPACTO SCIELO. Aqui, o QUALIS foi bem além desse desvio: ao classificar revistas SCIELO em nível inferior ao das revistas PUBMED o CTC-ES cometeu mais uma mal pensada decisão discriminatória, desta vez contra uma das mais respeitadas iniciativas brasileiras no mundo da ciência internacional. O sistema SCIELO é pelo menos tão duro quanto o PUBMED em termos de admissão, mas apresenta uma propriedade ausente no PUBMED: fornece um FATOR de IMPACTO para os periódicos de sua coleção! Este FATOR de IMPACTO necessariamente infra-estima o Impact Factor ISI-JCR, bem como o “cites/document” SCIMAGO, por uma razão bem simples: a coleção SCIELO contem menos de 10% de periódicos, em comparação com ISI-JCR e SCIMAGO. Vale a pena repetir: o FATOR de IMPACTO SCIELO para qualquer periódico da coleção representa uma infra-estimativa do que seria seu respectivo IF se estivesse incluído no ISI (ou seu cites/documents no SCIMAGO). Este é um resultado que dispensa evidência, pois resulta necessariamente da desproporção entre os tamanhos das coleções. Reconhecer o fator de impacto SCIELO não apenas corrige parcialmente o erro cometido por ignorá-lo, como levanta mais de uma centena de periódicos brasileiros a níveis mais próximos da realidade.
Este segundo ERRE ficou longo, mas pode ser resumido: (a) para periódicos representados no JCR-ISI e no SCIMAGO deve-se adotar uma classificação QUALIS que reflita essa dupla representação; (b) para periódicos representados no JCR-ISI ou no SCIMAGO deve-se adotar o valor existente; (c) para periódicos incluídos no SCIELO e não nos outros dois, deve-se adotar o FATOR DE IMPACTO SCIELO como equivalente aos outros dois.
ERRE3. REAVALIAR os periódicos brasileiros. No próximo QUALIS, todos os periódicos brasileiros, exceto os sem indexação (hoje classificados como QUALIS C) devem ser reclassificados um ou dois pontos acima de sua posição nominal. Ao fazer esta proposta não estou inventando nada. Várias áreas de avaliação já adotaram esse procedimento. Notável entre elas, a área de QUIMICA reclassificou para cima os três periódicos brasileiros com interesse direto para a área: Journal Brazil Chemical Society, Anais da Academia Brasileira de Ciências e Química Nova. A área de Ciências Biológicas II reclassificou para cima uma das grandes revistas da área, embora essa reclassificação singular possa ser criticada como discriminatória em relação a outras revistas igualmente idôneas.
A idéia básica por traz deste ERRE3 é a necessidade de ficar entendida a raison d’être de subsidiar periódicos brasileiros. A criação do sistema SCIELO na virada do milênio revolucionou o periodismo científico terceiro-mundista. Pela primeira vez, periódicos periféricos tornaram-se visíveis, em pé de igualdade com os gigantes do primeiro mundo. Em dez anos, esses periódicos floresceram e adquiriram um grau de respeitabilidade internacional nunca antes imaginado como possível. Mais alguns anos de crescimento levaria as melhores a padrões internacionais. A discriminação anti-Brasil do QUALIS 2008-2010 representa um entrave a essa progressão. As áreas de avaliação mais culpadas deste engano são as três Medicinas e duas das três Ciências Biológicas. As demais entenderam em graus variáveis a necessidade de proteger o produto nacional. Esta não é a primeira vez que defendo a idéia de que a existência de periódicos locais fortes é imperativo de soberania cientifica. Se olhássemos para o passado, 1980 por exemplo, estaríamos contemplando uma nação com um pequeno punhado de bons cientistas, mas cientificamente insignificante em seu conjunto, uma nação que mal começava a ter condições de sustentar periódicos de qualidade. Hoje, graças inclusive ao fantástico trabalho da CAPES, o Brasil transformou-se num produtor significativo. Periódicos brasileiros de alta qualidade tornar-se-ão, cada vez mais, necessidades imperiosas. Só assim poderemos assegurar o reconhecimento internacional de descobertas científicas brasileiras de importância. O próximo QUALIS tem que participar proativamente deste esforço.