GRADUATE EDUCATION AT THE FACULTY OF MEDICINE OF THE UNIVERSITY OF SÃO PAULO: QUO VADIS?

The aims of sensu strictu graduate education, as stated in the prospectus of the Faculty of Medicine of the University of São Paulo (FMUSP), are to form researchers with a broad view of their field of knowledge, and, at the same time, to be a system that generates knowledge in those fields. Undoubtedly lofty objectives, coherent with the general mission of universities, University of São Paulo being no exception: the continuous search for scientific knowledge, and the task of spreading the results of research to the public at large. Communication of knowledge and science is an essential part of the process. In fact, the number of Brazilian authors and their publications in international scientific literature has increased sub-stantially¹. Brazil now stands as the 25^th science producer in the world (ISI Web of Science).

In the above scenario, it becomes clear that the graduate education process does not end at thesis presentation. It should be followed by the publication of the results reached during that particular study. Moreover, in any particular case, if the objectives of the program have been achieved, knowledge has been generated and a system has been established in the particular field, from which a series of other publications from the same author(s) should follow.

Is this the case at the FMUSP? In order to determine this, we have reviewed the fate of 1181 doctoral thesis presented between 1990 and 2000 at that Institution. In order to assess whether publications resulted from the respective authors in the years following thesis presentation, national and international publications databases (e.g., Medline, LILACS) were searched using the ‘author’ field in each database. The overall number of examined theses increased from 61 in 1990, to 158 in 2000, with a peak of 198 in 1999. Figure 1 depicts the number of doctorate holders remaining without any publication, either national or international, 1 -10 years after the thesis completion.

Figure 1.

Percentage of doctorate holders remaining without any publication, either national or international, after the thesis completion.

One may clearly see that publication only starts two years after completion of the theses. A similar study conducted recently in France, regarding an equivalent situation, disclosed rather different results. Twenty-seven percent of the theses appeared in print in the first year, nearly 50% after two years². This suggests a failure in our system or, at least, a missed window of opportunity. Our study shows that, after five years, more than 50% of the post graduates have not published a single study, not even a review article.

Such a low publication rate could be explained by the fact that national journals are underrepresented in the Journal of Citation Reports and that most of the successfully graduated PhDs are publishing in local journals. However, it has recently been shown that the number of Brazilian research published in internationally indexed journals has increased significantly³. Moreover, by adding the articles published in SciELO indexed journals, a Brazilian initiative that allows for the on line retrieval and consultation of many more articles, publications increase by 33%. In spite of this, bibliographic production recorded by the research directory of the Brazilian National Research Council (CNPq) is three times higher³. In other words what we found at FMUSP seems to happen all over the country, irrespective of the type of journals searched. It must be pointed out that the intention of publication in the medical field is to spread knowledge. As such, the value of publishing in a journal that cannot be retrieved is questionable.

One could speculate on likely explanations. One possibility is that, since theses are parts of research lines, authors, particularly the senior researcher, may be waiting for more data to convey a more convincing message. However, what probably happens is the exact contrary. Since the evaluation of researchers relies in the number of published articles, the tendency is to submit articles as soon as possible, to avoid loss of “power” and impact⁴. Such rush to print certainly endangers quality; however it does not appear to be a factor in FMUSP, as far as our discussion takes us.

Lack of institutional endorsement and highlighting may be factors that explain the observed results. This possibility was studied in Croatia, where 34% of Ph.D. theses over ten years resulted in MEDLINE articles. But a significant difference was found between two different Croatian Universities, suggesting different institutional stress directed towards publication⁵.

One might argue that the results were in fact presented at international symposia or congresses, but subsequently rejected for publication. Probability of publication of articles derived from abstracts has been shown to be related to presentation in small meetings, to selection for oral presentation and to presentation in meetings in the United States. Moreover, abstracts of basic science and abstracts describing positive results have a higher probability of full publication⁶. In the case of FMUSP, even if the results were presented at meetings, this did not result in more publications. This conclusion is based on the observed plateau in publication rates four years after thesis presentation.

In Germany, almost 90% of all practicing physicians present themselves for doctorates⁷. Three main reasons are appointed to explain this: (i) there is a general belief that a doctorate will help in successful job hunting; (ii) most physicians believe that the doctorate will help them in their continuing medical education and (iii) the opportunity to become familiar with new experimental methods or even specialization in particular medical subjects attracts students. However, not all medical theses result in publication. One study conducted in Heidelberg⁸ showed that publication was influenced by three factors: a positive result, the publishing activity of the dissertation tutor, and the quality of the statistical analysis.

It may concluded that the very low publishing rates found at FMUSP may benefit from such a comparative analysis. While the quality of statistical analysis could be easily improved, we believe that the publishing activity of the dissertation tutor may be the point that deserves most attention. The evaluation of graduate education programs, conducted by the Education Ministry through its Coordenadoria de Aprimoramento de Pessoal de Ensino Superior (CAPES) is based, in part, on the number of published articles of the tutors and, more importantly, on the number of articles published in conjunction with the graduate students. Although there is still heterogeneity in the figures related to a recently published evaluation⁹, there seems to be no doubt about the need of such criteria. The numbers disclosed by this study may explain why most of the programs of FMUSP did not attain the highest grades in such evaluation. Clearly here is another window of opportunity to be explored by the FMUSP.

As a bottom line, the more likely explanation may lie in the graduate education system itself. The whole system continues to work as an extension of medical education. The concept of graduate education as an initiation for researchers, although theoretically accepted, is not what is being practiced. And worse, this is common knowledge in the system¹⁰.

Although desirable, no one expects that all doctoral theses produce truly innovative research. The need of investigators capable of understanding and tuned up to the newest developments is essential to any country and should be one of the aims of any graduate education system. Unfortunately, if these “middle category” researchers do not participate in the publishing system, we cannot ensure that such a goal will ever be achieved. Certainly, the lack of publication as evidenced here compromises the quality of our medical education as a whole¹¹.

As metas da pós-graduação sensu strictu, de acordo com os prospectos da Faculdade de Medicina da Universidade de São Paulo (FMUSP), são de formar pesquisadores com ampla visão de suas áreas de conhecimento, e, ao mesmo tempo, de servir como um sistema que gere conhecimento nestas áreas. Nobres objetivos, sem dúvida, e também coerentes com os alicerces das universidades em geral, e da Universidade de São Paulo em particular, universidades fundamentadas na procura contínua pelo conhecimento científico, e na tarefa de disseminar os resultados da pesquisa para o público em geral. A comunicação do conhecimento e da ciência é parte essencial deste processo. A boa notícia é que, como um todo, o número de autores e publicações brasileiros na literatura científica internacional tem aumentado substancialmente¹. O Brasil se encontra atualmente na 25ª colocação entre os maiores produtores científicos no mundo (ISI Web of Science).

Nesse cenário, torna-se claro que o processo de pós-graduação não pode terminar na apresentação da respectiva tese. Esta deve ser seguida pela publicação dos resultados alcançados no estudo objeto da tese. Além do mais, se de fato os objetivos forem alcançados, um quantum de conhecimento foi gerado e, conseqüentemente, um sistema foi estabelecido naquela área. Uma série de trabalhos deste mesmo autor deveria publicada.

Seria este o caso na FMUSP? Avaliamos o destino de 1181 teses de doutorado, defendidas nesta instituição entre 1990 e 2000. Com o intuito de determinar se houve publicações derivadas dos autores das teses nos anos que seguiram ao da defesa da tese, bancos de dados de publicações nacionais e internacionais (Medline, LILACS) foram pesquisados utilizando o campo de autores para cada banco de dados pesquisado.

O número total de teses saltou de 61 em 1990, para 158 em 2000, com um pico de 198 em 1999. Afigura 1mostra o número de doutores que continuavam sem nenhuma publicação, tanto nacional quanto internacional, anos após a defesa. Podemos observar, claramente que, na melhor hipótese, as publicações começam dois anos após a defesa da tese. Um estudo semelhante foi conduzido recentemente na França, levando em consideração as teses apresentadas ao término do internato, que equivalem às teses necessárias para a obtenção de título de doutor. Os dados revelam situação muito diferente. Vinte e sete por cento das teses foram publicadas no primeiro ano, e aproximadamente 50% em doisanos². Estes resultados mostram uma gravíssima deficiência de nosso sistema ou, no mínimo, a perda de uma janela de oportunidade. Nosso estudo mostrou que, em cinco anos, mais de 50% dos pós-graduados não tinham publicado nenhum trabalho, nem sequer um artigo de revisão.

Uma taxa de publicação tão baixa poderia ser explicada pelo fato das revistas nacionais serem pouco representadas no Journal of Citation Reports, e que a maioria dos doutores poderiam estar publicando em revistas locais. Recentemente, estudos têm mostrado que o número de pesquisas brasileiras publicadas em revistas internacionais indexadas aumentou significativamente³. Mais ainda, acrescentando os artigos publicados em revistas indexadas no SciELO, uma iniciativa nacional que permite a localização e a consulta de muitos artigos, os números seriam 30% mais elevados. No entanto, a produção bibliográfica registrada pelo diretório de pesquisa da CNPq é três vezes maior³. Em outras palavras, o que encontramos na FMUSP parece acontecer em todo o país, independente do tipo de revista pesquisada. Nunca é demais insistir que a intenção por trás das publicações em medicina é de disseminar o conhecimento. Como tal, o valor de publicar em revistas que não podem ser consultadas seria questionável.

Podemos especular sobre possíveis explicações. É possível que, como a tese seria parte de uma linha de pesquisa, os autores, especialmente o orientador, estariam aguardando mais resultados para transmitir uma mensagem mais convincente. Na realidade, o que ocorre seria exatamente o oposto. Como a avaliação dos pesquisadores se baseia no número de suas publicações, a tendência é submeter artigos o mais precocemente possível, com medo de perder seu impacto⁴. Tal pressa em publicar certamente ameaça a qualidade. Mas, definitivamente, este não parece o caso em nossa Faculdade, em relação ao tema em discussão.

A falta de apoio institucional poderia ser um fator responsável pelos resultados observados em nosso estudo. Esta possibilidade foi avaliada na Croácia, onde 34% das teses de PhD resultaram em artigos em MEDLINE. Os autores encontraram uma diferença significativa entre duas universidades, sugerindo enfoques institucionais diferentes quanto à publicação⁵.

Podemos argumentar que as teses seriam apresentadas em simpósios ou congressos internacionais, e subseqüentemente não aceitas para publicação. A probabilidade de publicação para artigos originados em resumos de congresso correlaciona-se à apresentações orais, em pequenas reuniões, ou em congressos nos EUA. Resumos de pesquisa básica bem como trabalhos que apresentam resultados positivos associam-se melhor com publicação final⁶. No caso da Faculdade de Medicina, mesmo trabalhos apresentados em congressos não resultaram em maior número de publicações. Esta conclusão é indireta e baseia-se no plateau das taxas de publicação observado quatro anos após a defesa da tese. Seria possível que a maioria das teses de doutorado avaliadas em nossa Faculdade tivesse apresentado um padrão exatamente oposto ao descrita acima?

Na Alemanha, mais de 90% de todos os médicos obtiveram titulo de doutor⁷. Três razões principais explicam estas observações: primeiro, existe uma crença generalizada que o doutorado ajuda a conseguir melhores empregos; segundo, a maioria dos médicos acredita que o doutorado os ajuda a se manterem atualizados; finalmente, o doutorado abre oportunidade para o médico familiarizar-se com novos métodos experimentais, ou até com a especialização em alguma área específica da medicina. No entanto, nem todas as teses médicas resultam em publicações. Um estudo realizado em Heidelberg⁸demonstrou que a publicação foi influenciada por três fatores: um resultado significativamente positivo, a atividade acadêmica e as publicações do orientador e a qualidade da análise estatística.

Estes dados sugerem que as baixas taxas de publicação encontradas na FMUSP poderiam se beneficiar pelas lições contidas nestes dados. A qualidade da análise estatística poderia ser facilmente melhorada, mas acreditamos que a atividade acadêmica e as publicações dos orientadores seriam os pontos que mereceriam a maior atenção. A avaliação dos programas de pós-graduação, realizada pela Coordenadoria de Aprimoramento de Pessoal de Ensino Superior (CAPES) se baseia, em parte, no número de artigos publicados pelos orientadores, e, mais ainda, no número de artigos publicados em conjunto com os estudantes. Apesar de ainda haver heterogeneidade nos números relatados em recente relatório da instituição⁹, parece não haver dúvidas quanto à necessidade e à importância de tais critérios. Os números observados neste estudo poderiam explicar porque a maioria dos programas de pós-graduação de nossa Faculdade não alcançou as notas mais elevadas naquela avaliação. Claramente, existe uma outra janela de oportunidades para ser explorada pela FMUSP.

Finalmente, a explicação mais provável para a deficiência aqui apontada está no sistema da pós-graduação per se. O sistema inteiro continua a funcionar como uma extensão da graduação médica. O conceito da pós-graduação como iniciação para pesquisadores, apesar de teoricamente aceita, não tem sido praticada. Pior, isso não é nenhuma novidade¹⁰.

Apesar de desejável, ninguém espera que todos ou doutorados produzam pesquisa realmente inovadora. A necessidade de pesquisadores capazes de entender e se atualizar nos desenvolvimentos mais recentes é essencial para qualquer país, e deveria ser um dos objetivos do sistema de graduação. Infelizmente, se estes pesquisadores “médios” não participarem no sistema de publicações, não poderemos nos assegurar que tal objetivo seja algum dia alcançado. Certamente, a falta de publicações compromete a qualidade de nossos médicos como um todo¹¹.