Editorial
Qualis 2011-2013 - os três erres
Mauricio Rocha e Silva
Corresponding author
mrsilva36@hcnet.usp.br
Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo, SP, Brazil Tel.: 55 11 3069-6235
Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo, SP, Brazil Tel.: 55 11 3069-6235
Read
634
Timeswas read the article
245
Total PDF
389
Total HTML
Share statistics
array:23 [ "pii" => "S1807593222029131" "issn" => "18075932" "doi" => "10.1590/S1807-59322010001000001" "estado" => "S300" "fechaPublicacion" => "2010-01-01" "aid" => "2913" "copyright" => "CLINICS" "copyrightAnyo" => "2010" "documento" => "simple-article" "crossmark" => 0 "licencia" => "https://creativecommons.org/licenses/by-nc/3.0/" "subdocumento" => "edi" "cita" => "Clinics. 2010;65:935-6" "abierto" => array:3 [ "ES" => true "ES2" => true "LATM" => true ] "gratuito" => true "lecturas" => array:1 [ "total" => 0 ] "itemSiguiente" => array:19 [ "pii" => "S1807593222029143" "issn" => "18075932" "doi" => "10.1590/S1807-59322010001000002" "estado" => "S300" "fechaPublicacion" => "2010-01-01" "aid" => "2914" "copyright" => "CLINICS" "documento" => "simple-article" "crossmark" => 0 "licencia" => "https://creativecommons.org/licenses/by-nc/3.0/" "subdocumento" => "edi" "cita" => "Clinics. 2010;65:937-40" "abierto" => array:3 [ "ES" => true "ES2" => true "LATM" => true ] "gratuito" => true "lecturas" => array:1 [ "total" => 0 ] "en" => array:10 [ "idiomaDefecto" => true "cabecera" => "<span class="elsevierStyleTextfn">Editorial</span>" "titulo" => "Bureaucrats, researchers, editors, and the impact factor - a vicious circle that is detrimental to science" "tienePdf" => "en" "tieneTextoCompleto" => "en" "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "937" "paginaFinal" => "940" ] ] "contieneTextoCompleto" => array:1 [ "en" => true ] "contienePdf" => array:1 [ "en" => true ] "resumenGrafico" => array:2 [ "original" => 0 "multimedia" => array:7 [ "identificador" => "fig3-cln_65p937" "etiqueta" => "Figure 3" "tipo" => "MULTIMEDIAFIGURA" "mostrarFloat" => true "mostrarDisplay" => false "figura" => array:1 [ 0 => array:4 [ "imagen" => "gr3.jpeg" "Alto" => 626 "Ancho" => 436 "Tamanyo" => 35833 ] ] "descripcion" => array:1 [ "en" => "<p id="spara30" class="elsevierStyleSimplePara elsevierViewall">Impact factors calculated without self-cites versus the percentage of self-cites used for impact factor calculation. A significant negative correlation was only observed for Brazilian journals (r = -0.527; p<0.0001; Spearman rank order correlation) but not for ethics journals.</p>" ] ] ] "autores" => array:1 [ 0 => array:2 [ "autoresLista" => "Konradin Metze" "autores" => array:1 [ 0 => array:2 [ "nombre" => "Konradin" "apellidos" => "Metze" ] ] ] ] ] "idiomaDefecto" => "en" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/S1807593222029143?idApp=UINPBA00004N" "url" => "/18075932/0000006500000010/v1_202212010724/S1807593222029143/v1_202212010724/en/main.assets" ] "en" => array:10 [ "idiomaDefecto" => true "cabecera" => "<span class="elsevierStyleTextfn">Editorial</span>" "titulo" => "Qualis 2011-2013 - os três erres" "tieneTextoCompleto" => true "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "935" "paginaFinal" => "936" ] ] "autores" => array:1 [ 0 => array:3 [ "autoresLista" => "Mauricio Rocha e Silva" "autores" => array:1 [ 0 => array:4 [ "nombre" => "Mauricio" "apellidos" => "Rocha e Silva" "email" => array:1 [ 0 => "mrsilva36@hcnet.usp.br" ] "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "*" "identificador" => "c1-cln_65p935" ] ] ] ] "correspondencia" => array:1 [ 0 => array:3 [ "identificador" => "c1-cln_65p935" "etiqueta" => "*" "correspondencia" => "Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo, SP, Brazil Tel.: 55 11 3069-6235" ] ] ] ] "textoCompleto" => "<span class="elsevierStyleSections"><p id="para10" class="elsevierStylePara elsevierViewall">O intenso debate suscitado pela implantação do Novo-Qualis, que regeu a avaliação CAPES relativa ao triênio 2008-2010 evidencia as dúvidas e controvérsias geradas na comunidade científica. Não cabe agora retomar aquela temática, pois águas passadas não movem moinhos. Porém, o debate patrocinado pela FAPESP e pela BIREME em 12 de setembro passado levantou questões que parecem ser de consenso e que talvez devessem ser objeto de cuidadosa análise ao longo do próximo triênio. As principais podem ser assim resumidas:<ul class="elsevierStyleList" id="celist10"><li class="elsevierStyleListItem" id="celistitem10"><span class="elsevierStyleLabel">1.</span><p id="para20" class="elsevierStylePara elsevierViewall">Metade das áreas de pós-graduação usaram o Impact Factor do Journal of Citation Reports (ISI_Thomson) como único critério para avaliar a produção científica de pós-graduandos e seus orientadores.</p></li><li class="elsevierStyleListItem" id="celistitem20"><span class="elsevierStyleLabel">2.</span><p id="para30" class="elsevierStylePara elsevierViewall">Outras métricas de avaliação existem e podem ser levadas em consideração.</p></li><li class="elsevierStyleListItem" id="celistitem30"><span class="elsevierStyleLabel">3.</span><p id="para40" class="elsevierStylePara elsevierViewall">Centenas de periódicos científicos brasileiros podem ter sido classificados abaixo dos níveis adequados.</p></li></ul></p><p id="para50" class="elsevierStylePara elsevierViewall">O uso do Impact Factor ISI como métrica única para avaliação de mérito científico de artigos individuais é extrapolação injustificada de sua aplicabilidade. CLINICS publica neste número editorial<a class="elsevierStyleCrossRef" href="#bib1">1</a> que merece consideração. O argumento básico reflete um conceito emitido há décadas por Eugene Garfield, o inventor desta métrica: o Impact Factor mede (imperfeitamente) a qualidade dos periódicos, mas em nenhuma hipótese a qualidade de cada artigo ali publicado. Teoricamente, seria muito mais adequado contar o número de citações recebidas por cada artigo como medida de sua qualidade. No entanto, este procedimento teria limitada aplicabilidade para avaliação da produção cientifica dos pós-graduandos e seus orientadores: a produção destes poderia (e deveria) ser assim avaliada, mas a dos pós-graduandos sofreria as consequências do noviciado.</p><p id="para60" class="elsevierStylePara elsevierViewall">O uso de outras métricas existentes sofre das mesmas limitações: a extrapolação de métrica de periódico ao artigo ali publicado não resiste a qualquer análise teórica. Mas, faute de mieux, sabemos que dificilmente irá o CTC-ES renunciar de todo ao uso de alguma métrica quantitativa para avaliar as ciências duras.</p><p id="para70" class="elsevierStylePara elsevierViewall">No entanto, seria prudente introduzir corretores de rota para o próximo triênio. A produção cientifica dos orientadores deveria se basear no número de citações de sua produção. Mas não é de se esperar que CAPES abdique de métricas como o fator de impacto para avaliar a produção dos pós-graduandos no campo das ciências duras. No entanto, uma série de medidas corretivas impõe-se para atenuar a insuficiência teórica contida no QUALIS 2008-2010. Para fixar idéias, pensei num slogan-síntese, que se reflete no título deste editorial. O próximo QUALIS deve, no mínimo, contemplar TRÊS ERRES.</p><p id="para80" class="elsevierStylePara elsevierViewall">ERRE-1: REMOVER periódicos de revisão do sistema QUALIS. Examinei os primeiros 2000 periódicos da coleção JCR-ISI em ordem decrescente de Impact Factor, a procura de periódicos contendo qualquer das seguintes expressões em seus títulos: Reviews, Recent Progress, Critical Evaluation, Advances, etc. O resultado é o que se poderia esperar; artigos de revisão são normalmente mais citados que artigos de pesquisa original, de modo que periódicos de revisão devem situar-se no alto de qualquer ranking baseado em fatores de impacto. E é exatamente isso que acontece: dentre os 20 títulos de mais alto impacto (percentil 97,5), nove (45%) pertencem a essa categoria; dentre os 800 primeiros (percentil 90), contei 147 (18,2%) e dentre os dois mil primeiros (percentil 75), contei 192 (9,6%) periódicos de revisão.<a class="elsevierStyleCrossRef" href="#bib2">2</a> Por antecipação penitencio-me de quaisquer eventuais pequenos enganos pois estes números resultam de uma contagem <span class="elsevierStyleBold"><span class="elsevierStyleUnderline">a mão</span></span> dentro do site <a href="http://www..isiknowledge.com">www.isiknowledge.com</a>. Mas nem mesmo esse possível erro de contagem altera o fato de que o QUALIS 2008-2010 incluiu em sua conta um número muito considerável de periódicos que nada têm a ver com a atividade de publicar ciência original. Se olharmos apenas para as 800 primeiras revistas da coleção, onde estão todos os periódicos QUALIS A de quase todas as áreas de ciências duras vemos que quase 20% deveriam ter sido excluídos. É simples concluir que esta injustificada inclusão deforma seriamente o cálculo dos níveis de corte para as várias tabelas A1, A2, B1 e, em algumas áreas, até mesmo B2 e B3. Esse “overrating” de níveis de corte necessariamente terá resultado num “underrating” da classificação de programas de pós-graduação underrating este que nada tem a ver com os méritos intrínsecos da área avaliada. Feita essa indispensável REMOÇÃO, segue-se como corolário evidente que haverá que se RECALCULAR (poderíamos até batizar este Recálculo como Corolário ERRE-1a) os valores de corte para cada categoria QUALIS.</p><p id="para90" class="elsevierStylePara elsevierViewall">ERRE-2. RECONHECER outras métricas de avaliação. A primeira das métricas ignoradas pelo QUALIS 2008-2010 foi o cites/document - SCOPUS (<a href="http://www..scimagojr.com">www.scimagojr.com</a>). Comparações já publicadas<a class="elsevierStyleCrossRefs" href="#bib2">2-4</a> mostram que existe uma identidade estatisticamente perfeita entre o IF JCR e o ”cites/documents - 2 years” SCIMAGO. O CTC-ES tinha perfeito conhecimento desta importante similitude, mas o argumento ventilado oralmente por alguns de seus membros afirma que o índice SCIMAGO é supérfluo, pois o resultado seria o mesmo, com qualquer dos índices. Isto pode até ser verdade para periódicos do mundo anglo-saxão, que recebem tratamento privilegiado no JCR, mas está longe de refletir a realidade dos periódicos de países de língua latina. Mais significativamente, está muitíssimo longe de refletir a realidade dos periódicos brasileiros. Para a avaliação 2008-2010, apenas 31 periódicos locais receberam classificações QUALIS relativas a seus Impact Factors, num momento em que 204 revistas estavam catalogadas no sistema SCIMAGO. Esta exclusão de 173 títulos brasileiros dos altos QUALIS deve ser descrita como injustificada discriminação anti-periódicos nacionais. É evidente que não houve intenção discriminatória, mas o resultado desta mal pensada análise teve essa danosa conseqüência.</p><p id="para100" class="elsevierStylePara elsevierViewall">A segunda métrica ignorada pelo QUALIS 2008-2010 foi o FATOR DE IMPACTO SCIELO. Aqui, o QUALIS foi bem além desse desvio: ao classificar revistas SCIELO em nível inferior ao das revistas PUBMED o CTC-ES cometeu mais uma mal pensada decisão discriminatória, desta vez contra uma das mais respeitadas iniciativas brasileiras no mundo da ciência internacional. O sistema SCIELO é pelo menos tão duro quanto o PUBMED em termos de admissão, mas apresenta uma propriedade ausente no PUBMED: fornece um FATOR de IMPACTO para os periódicos de sua coleção! Este FATOR de IMPACTO necessariamente infra-estima o Impact Factor ISI-JCR, bem como o “cites/document” SCIMAGO, por uma razão bem simples: a coleção SCIELO contem menos de 10% de periódicos, em comparação com ISI-JCR e SCIMAGO. Vale a pena repetir: o FATOR de IMPACTO SCIELO para qualquer periódico da coleção representa uma infra-estimativa do que seria seu respectivo IF se estivesse incluído no ISI (ou seu cites/documents no SCIMAGO). Este é um resultado que dispensa evidência, pois resulta necessariamente da desproporção entre os tamanhos das coleções. Reconhecer o fator de impacto SCIELO não apenas corrige parcialmente o erro cometido por ignorá-lo, como levanta mais de uma centena de periódicos brasileiros a níveis mais próximos da realidade.</p><p id="para110" class="elsevierStylePara elsevierViewall">Este segundo ERRE ficou longo, mas pode ser resumido: (a) para periódicos representados no JCR-ISI <span class="elsevierStyleBold"><span class="elsevierStyleUnderline">e</span></span> no SCIMAGO deve-se adotar uma classificação QUALIS que reflita essa dupla representação; (b) para periódicos representados no JCR-ISI <span class="elsevierStyleBold"><span class="elsevierStyleUnderline">ou</span></span> no SCIMAGO deve-se adotar o valor existente; (c) para periódicos incluídos no SCIELO <span class="elsevierStyleBold"><span class="elsevierStyleUnderline">e não</span></span> nos outros dois, deve-se adotar o FATOR DE IMPACTO SCIELO como equivalente aos outros dois.</p><p id="para120" class="elsevierStylePara elsevierViewall">ERRE3. REAVALIAR os periódicos brasileiros. No próximo QUALIS, todos os periódicos brasileiros, exceto os sem indexação (hoje classificados como QUALIS C) devem ser reclassificados um ou dois pontos acima de sua posição nominal. Ao fazer esta proposta não estou inventando nada. Várias áreas de avaliação já adotaram esse procedimento. Notável entre elas, a área de QUIMICA reclassificou para cima os três periódicos brasileiros com interesse direto para a área: Journal Brazil Chemical Society, Anais da Academia Brasileira de Ciências e Química Nova. A área de Ciências Biológicas II reclassificou para cima uma das grandes revistas da área, embora essa reclassificação singular possa ser criticada como discriminatória em relação a outras revistas igualmente idôneas.</p><p id="para130" class="elsevierStylePara elsevierViewall">A idéia básica por traz deste ERRE3 é a necessidade de ficar entendida a raison d’être de subsidiar periódicos brasileiros. A criação do sistema SCIELO na virada do milênio revolucionou o periodismo científico terceiro-mundista. Pela primeira vez, periódicos periféricos tornaram-se visíveis, em pé de igualdade com os gigantes do primeiro mundo. Em dez anos, esses periódicos floresceram e adquiriram um grau de respeitabilidade internacional nunca antes imaginado como possível. Mais alguns anos de crescimento levaria as melhores a padrões internacionais. A discriminação anti-Brasil do QUALIS 2008-2010 representa um entrave a essa progressão. As áreas de avaliação mais culpadas deste engano são as três Medicinas e duas das três Ciências Biológicas. As demais entenderam em graus variáveis a necessidade de proteger o produto nacional. Esta não é a primeira vez que defendo a idéia de que a existência de periódicos locais fortes é imperativo de soberania cientifica. Se olhássemos para o passado, 1980 por exemplo, estaríamos contemplando uma nação com um pequeno punhado de bons cientistas, mas cientificamente insignificante em seu conjunto, uma nação que mal começava a ter condições de sustentar periódicos de qualidade. Hoje, graças inclusive ao fantástico trabalho da CAPES, o Brasil transformou-se num produtor significativo. Periódicos brasileiros de alta qualidade tornar-se-ão, cada vez mais, necessidades imperiosas. Só assim poderemos assegurar o reconhecimento internacional de descobertas científicas brasileiras de importância. O próximo QUALIS tem que participar proativamente deste esforço.</p></span>" "pdfFichero" => "main.pdf" "tienePdf" => true "bibliografia" => array:2 [ "titulo" => "REFERENCES" "seccion" => array:1 [ 0 => array:2 [ "identificador" => "cebibsec10" "bibliografiaReferencia" => array:4 [ 0 => array:3 [ "identificador" => "bib1" "etiqueta" => "1" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:2 [ "titulo" => "Bureaucrats, Researchers, Editors, and the Impact Factor – a Vicious Circle in Detriment of Science" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => """ K Metze \n \t\t\t\t\t\t\t\t """ ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1590/s1807-59322010001000002" "Revista" => array:6 [ "tituloSerie" => "Clinics" "fecha" => "2010" "volumen" => "65" "paginaInicial" => "937" "paginaFinal" => "940" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/21120290" "web" => "Medline" ] ] ] ] ] ] ] ] 1 => array:3 [ "identificador" => "bib2" "etiqueta" => "2" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:2 [ "titulo" => "Impact factor, scimago indexes and the Brazilian journal rating sytem: where do we go from here?" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => """ M Rocha e Silva \n \t\t\t\t\t\t\t\t """ ] ] ] ] ] "host" => array:2 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Clinics" "fecha" => "2010" "volumen" => "65" "paginaInicial" => "351" "paginaFinal" => "355" ] ] 1 => array:1 [ "WWW" => array:1 [ "link" => "10.1590/S1807-59322010000400001" ] ] ] ] ] ] 2 => array:3 [ "identificador" => "bib3" "etiqueta" => "3" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:2 [ "titulo" => "Novo Qualis, que não tem nada a ver com a ciência do Brasil: carta aberta ao presidente da CAPES" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => """ M Rocha e Silva \n \t\t\t\t\t\t\t\t """ ] ] ] ] ] "host" => array:2 [ 0 => array:2 [ "doi" => "10.1590/s1807-59322009000800002" "Revista" => array:6 [ "tituloSerie" => "Clinics" "fecha" => "2009" "volumen" => "64" "paginaInicial" => "721" "paginaFinal" => "724" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/19722071" "web" => "Medline" ] ] ] ] 1 => array:2 [ "doi" => "10.1590/s1807-59322009000800002" "WWW" => array:1 [ "link" => "10.1590/S1807-59322009000800002" ] ] ] ] ] ] 3 => array:3 [ "identificador" => "bib4" "etiqueta" => "4" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:2 [ "titulo" => "O novo Qualis, ou a tragédia anunciada" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => """ M Rocha e Silva \n \t\t\t\t\t\t\t\t """ ] ] ] ] ] "host" => array:2 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Clinics" "fecha" => "2009" "volumen" => "64" "paginaInicial" => "1" "paginaFinal" => "4" ] ] 1 => array:1 [ "WWW" => array:1 [ "link" => "10.1590/S1807-59322009000100001" ] ] ] ] ] ] ] ] ] ] ] "idiomaDefecto" => "en" "url" => "/18075932/0000006500000010/v1_202212010724/S1807593222029131/v1_202212010724/en/main.assets" "Apartado" => null "PDF" => "https://static.elsevier.es/multimedia/18075932/0000006500000010/v1_202212010724/S1807593222029131/v1_202212010724/en/main.pdf?idApp=UINPBA00004N&text.app=https://www.elsevier.es/" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/S1807593222029131?idApp=UINPBA00004N" ]
| Year/Month | Html | Total | |
|---|---|---|---|
| 2024 November | 4 | 0 | 4 |
| 2024 October | 19 | 18 | 37 |
| 2024 September | 12 | 12 | 24 |
| 2024 August | 13 | 19 | 32 |
| 2024 July | 15 | 16 | 31 |
| 2024 June | 20 | 17 | 37 |
| 2024 May | 22 | 13 | 35 |
| 2024 April | 31 | 9 | 40 |
| 2024 March | 26 | 12 | 38 |
| 2024 February | 29 | 10 | 39 |
| 2024 January | 5 | 9 | 14 |
| 2023 December | 5 | 15 | 20 |
| 2023 November | 11 | 16 | 27 |
| 2023 October | 11 | 20 | 31 |
| 2023 September | 13 | 21 | 34 |
| 2023 August | 9 | 6 | 15 |
| 2023 July | 10 | 13 | 23 |
| 2023 June | 17 | 12 | 29 |
| 2023 May | 25 | 0 | 25 |
| 2023 April | 37 | 1 | 38 |
| 2023 March | 31 | 1 | 32 |
| 2023 February | 15 | 2 | 17 |
| 2023 January | 4 | 2 | 6 |
| 2022 December | 5 | 1 | 6 |
Show all