In this article we describe a peer review exercise used in undergraduate chemistry course in which the students wrote and prepared critique of scientific texts produced by other students in the class. We investigated, based on the critical comments made by the peers, evidences of the appropriation of scientific discourse and a better understanding of its practice by the students. Additionally, we present our own conclusions on the use of such exercise applied to an organic chemistry course offered to undergraduate chemistry students at a Brazilian public university.
En este artículo se describe un ejercicio de revisión de pares empleado en un curso de la licenciatura en química, en el cual los estudiantes escribieron y prepararon una crítica a los textos científicos producidos por otros estudiantes de la clase. Se investigaron, con base en los comentarios críticos realizados por los pares, las evidencias de la apropiación del discurso científico y una mejor comprensión de su práctica por los estudiantes. Adicionalmente, se presentan nuestras propias conclusiones sobre tal ejercicio aplicado en un curso de química orgánica ofrecido en una universidad pública brasileña.
O ensino de ciências —incluindo o universitário— em muitos casos está reduzido à apresentação de conhecimentos já elaborados, sem fornecer aos estudantes a oportunidade de se aproximarem das atividades características do trabalho científico e de superarem visões inadequadas sobre o processo de construção da ciência. Trabalhos desenvolvidos com tal finalidade apontam para a necessidade dos estudantes do ensino superior se familiarizarem com tarefas inerentes ao “fazer ciência”, envolvendo-os, por exemplo, com atividades relacionadas à comunicação científica, tais como a leitura, escrita e análise crítica de textos produzidos por e para os cientistas (Hollenbeck et al., 2006; Widanski e Courtright-Nash, 2006). Henderson e Buising (2000) argumentam ainda que quando solicitamos aos estudantes a realização de atividades que fazem parte da rotina dos cientistas —como a comunicação entre pares— estamos aproximando-os do mundo real da ciência e favorecendo a apropriação de seu discurso.
A avaliação por pares ou peer review —recurso adotado pela comunidade científica para avaliação dos trabalhos produzidos por pesquisadores de uma mesma área do conhecimento (Oliveira e Queiroz, 2007)— tem sido empregada no ensino superior de química como estratégia didática para distintas finalidades, tais como: envolver os estudantes em atividades colaborativas e propiciar a compreensão da importância da produção escrita na comunidade científica (Widanski e Courtright-Nash, 2006); promover o aprimoramento da escrita científica, bem como o desenvolvimento de habilidades de leitura crítica e tomada de decisão (Gragson e Hagen, 2010); favorecer o diálogo entre os pares, tanto dire-tamente, através de debates com o próprio grupo sobre o trabalho avaliado, quanto indiretamente, através do envio de um parecer sobre a avaliação realizada (Shibley Jr., Milakofsky e Nicotera, 2001).
Neste manuscrito relatamos a aplicação de uma atividade de peer review desenvolvida em um curso de graduação em química na qual os estudantes redigiram e avaliaram textos produzidos pelos colegas no formato de artigos científicos. Investigamos, por meio da identificação de algumas características da linguagem científica destacadas nos pareceres dos estudantes, indícios da apropriação de caracterís ticas do discurso da ciência e de uma melhor compreensão de aspectos da prática da ciência.
Referenciais TeóricosO delineamento das características retóricas da linguagem científica foi baseado nos trabalhos de Latour (2000), Coracini (2007) e Campanario (2004).
Latour (2000) destaca que, ao contrário da “ciência acabada”, na qual as produções científicas não representam mais problemas a serem discutidos, o processo de construção da ciência é repleto de incertezas e controvérsias. É neste contexto, quando há controvérsias, que os cientistas necessitam sair à procura de recursos e, então, começam a lançar mão de textos, arquivos, documentos, artigos e uma série de estratégias linguísticas para induzir o outro a dar credibili-dade às suas afirmações. Sob essa perspectiva, Latour (2000) descreve várias estratégias retóricas presentes nos artigos científicos.
As questões relacionadas à subjetividade do discurso científico são descritas e discutidas por Coracini (2007), a qual, por meio da análise de artigos científicos primários e entrevistas com pesquisadores em exercício, aponta diver-sos elementos e estratégias linguísticas presentes nos artigos científicos, evidenciando que “o discurso científico, a despeito das aparências, é altamente subjetivo e, portanto, constitui em um fazer persuasivo” (p.20).
Campanario (2004) destaca que o artigo científico pode revelar diversos aspectos da atividade dos pesquisadores e, dessa forma, ser uma ferramenta útil para proporcionar uma visão mais real da dinâmica da ciência. Nessa perspectiva, o autor realizou uma análise da estrutura e das estratégias retóricas mais comuns em textos científicos.
No que diz respeito aos aspectos estruturais, especial-mente aqueles relacionados à organização e conteúdo apresentado nas seções típicas dos textos científicos, adotamos as considerações apresentadas em trabalho de nossa autoria (Oliveira e Queiroz, 2007), o qual é direcionado a estudantes de graduação em química e contém informações gerais sobre a organização dos principais tipos de documentos científicos publicados na área de química, características gerais de suas seções típicas, tipos de fontes de informação na área etc.
Assim, com base nos referidos estudos, identificamos e organizamos as principais características da linguagem científica, conforme as categorias descritas no Quadro 1. Cabe destacar que tais características, que subsidiaram a análise dos pareceres produzidos pelos estudantes, estão apresentadas com mais detalhes em outro manuscrito (Oliveira e Queiroz, 2012).
Aspectos estruturais (categorias E1 a E21) e retóricos (categorias R1 a R20) que caracterizam o texto científico, delineados a partir dos estudos de Latour (2000), Coracini (2007), Campanario (2004) e Oliveira e Queiroz (2007).
| CARACTERÍSTICAS DO TEXTO CIENTÍFICO | |
| Aspectos estruturais | Aspectos retóricos |
|
|
Esta pesquisa foi conduzida em uma disciplina da área de química orgânica oferecida no terceiro semestre do Curso de Bacharelado em Química do Instituto de Química de São Carlos, Universidade de São Paulo, Brasil. A primeira etapa da proposta consistiu em uma atividade na qual foram apresentadas aos estudantes (n=40) características estruturais das principais seções do texto científico, as quais foram realizadas em caráter de revisão uma vez que os mesmos já haviam cursado duas disciplinas que abordam a estrutura de documentos escritos e de apresentações orais de trabalhos de natureza científica. Em seguida, foi aplicado e discutido um material didático que versava sobre aspectos retóricos da linguagem científica, o qual foi organizado em sete atividades. Esse material didático está disponível como Material Suplementar em recente publicação (Oliveira e Queiroz, 2012). Após leitura e discussão dos materiais, os alunos localizaram em artigos científicos da área de química orgânica, previamente selecionados pelo professor da disciplina, estratégias retóricas neles existentes (Oliveira e Queiroz, 2011).
Na segunda etapa da proposta, os estudantes redigiram, em duplas (n=20), textos no formato de artigo científico a partir de dados experimentais fornecidos pelo professor da disciplina, relacionados aos seguintes temas: 1) Solubilidade dos compostos metanol, anilina e hexano; 2) Solubili-dade dos compostos diclorometano, ácido benzóico, álcool butílico; 3) Solubilidade dos compostos tolueno, anilina e ácido ftálico; 4) Purificação de compostos orgânicos por recristalização; 5) Isolamento e purificação de compostos orgânicos por destilação; 6) Separação de compostos orgânicos através de separação por solventes; 7) Isolamento, purificação e caracterização da cafeína; 8) Síntese da acetanilida; 9) Síntese da p-nitroacetanilida; 10) Síntese do diacetato de hidroquinona. Cada um desses temas foi utilizado por duas duplas. Os estudantes foram orientados a seguir as instruções aos autores fornecidas pela revista científica Química Nova, uma publicação da Sociedade Brasileira de Química (SBQ, 2012).
Para a atividade de peer review, os estudantes entregaram a primeira versão do texto contendo identificação dos autores apenas na primeira página. Assim, após omissão dos nomes dos autores, cada texto foi entregue anonimamente a outras duas duplas, sendo uma que havia trabalhado com o mesmo tema e outra com um tema diferente. Dessa forma, cada dupla avaliou dois trabalhos e produziu um parecer sobre cada texto analisado. As instruções gerais para elaboração do parecer estão apresentadas no Quadro 2. Cabe ressaltar que embora não tenham sido impostos os critérios que deveriam ser observados no texto, foram fornecidos aos estudantes, como forma de ilustração, os formulários de avaliação empregados pelos assessores da revista Química Nova. Após recebimento dos pareceres, estes foram repassados, também anonimamente, aos respectivos autores para correção do texto e entrega da versão final.
Material entregue aos alunos para a atividade de peer review.
Os dados analisados nesta pesquisa foram os textos escritos produzidos pelos estudantes durante a atividade na qual avaliaram os trabalhos uns dos outros, isto é, os pareceres de avaliação. Analisamos cada sentença desses pareceres identificando a presença de comentários relacionados aos aspectos estruturais e retóricos do texto científico e classificando-as de acordo com as categorias descritas no Quadro 1. Por fim, verificamos o percentual de pareceres que apresentaram pelo menos uma sentença relacionada a cada um dos aspectos que caracterizam o texto científico.
Resultados e DiscussãoAnalisamos inicialmente nos pareceres a presença de comentários sobre a apresentação e organização geral do texto científico que estivessem relacionados a cada um dos aspectos estruturais do texto científico (categorias E1 a E21). Na Figura 1 mostramos o percentual de pareceres que continham uma ou mais sentenças classificadas nas categorias de análise.
A característica estrutural do texto científico mais comentada pelos estudantes (66,7%) foi aquela relacionada à contextualização do trabalho na seção Introdução (E7). Os comentários dos estudantes foram tanto no sentido de valorizar o texto produzido pelo colega quanto de indicar pontos que poderiam ser aprimorados, conforme demonstram os trechos a seguir:
Na introdução do artigo, acredito que o tema foi abordado de maneira superficial, faltou um aprofundamento para o conceito de compostos orgânicos e uma noção básica sobre os compostos que foram abordados no artigo. Introdução: apesar de ser um pouco extensa, apresenta elementos essenciais como o assunto que foi investigado e o que já se sabe sobre o assunto.
As considerações apresentadas sugerem que os estudantes conhecem aspectos comuns no discurso da ciência como, por exemplo, as informações frequentemente presentes na Introdução de textos científicos. Além disso, tais considerações demonstram que estes reconhecem uma característica da prática da ciência, descrita por Campanario (1999)como um componente típico do trabalho científico: os pesquisadores procuram conhecer a produção científica recente de sua área a fim de se manterem informados sobre seu desenvolvimento.
Foram ainda relatadas em 55,6% dos pareceres questões relacionadas à forma como os procedimentos e métodos são descritos na seção Materiais e Métodos (E11). A maneira como os dados do trabalho são apresentados (E12) e discutidos (E15) na seção Resultados e Discussão foi mencionada em, respectivamente, em 50,0% e 47,2% dos pareceres. Os trechos a seguir ilustram a presença dos referidos elementos nos comentários dos estudantes:
Na parte experimental os autores descrevem o processo de síntese de maneira clara e objetiva, citando também os métodos utilizados na caracterização do composto sintetizado. O autor deve ser mais preciso ao apresentar os dados, que devem ser mais bem estruturados, apresentando os resultados em tabelas que permitam a comparação mais precisa. A discussão é feita de maneira muito objetiva e traz informações inadequadas, sem comparação dos dados obtidos com valores teóricos.
Percebe-se que por meio da atividade de peer review os alunos não somente manifestaram sua opinião sobre o trabalho dos colegas, mas também revelaram conhecimentos que possuem sobre diversas características típicas do discurso científico, como, por exemplo, a descrição de procedimentos experimentais de forma clara, a organização de dados em gráficos ou tabelas de modo a facilitar sua interpretação, bem como sua correlação com dados da literatura.
Nestas colocações, os estudantes demonstram ainda que possivelmente compreendem que para ter suas afirmações validadas pela comunidade científica, o cientista precisa indicar os métodos que utiliza, bem como correlacionar seus dados com o paradigma da área ou com outras ideias/dados já aceitos na literatura (Coracini, 2007; Latour, 2000).
Outro aspecto estrutural mencionado pelos estudantes diz respeito à apresentação das principais conclusões (E17) no texto (44,4%). As informações contidas ou não no título (E2) do trabalho também foram objeto de discussão por parte dos estudantes nos pareceres (47,2%), os quais enfocaram, por exemplo, a necessidade de um título mais específico em relação à natureza do trabalho. Os trechos de alguns pareceres mostrados a seguir, além de evidenciarem tais observações, sugerem que os estudantes tornaram-se leitores críticos, munidos de critérios bem definidos que os permitiram avaliar e tecer opiniões fundamentadas a respeito da quali-dade de um trabalho de natureza científica:
Conclusão: está muito bem apresentada, pois é objetiva e clara descrevendo apenas as principais conclusões sem repetir todos os resultados. O título do artigo não reflete claramente o conteúdo do trabalho, deixando de maneira vaga o que realmente pretende ser apresentado.
Alguns aspectos estruturais, no entanto, foram pouco citados pelos estudantes: apenas 13,9% dos pareceres continham comentários relacionados ao uso de palavras-chave (E6); em apenas 8,3 % observamos críticas quanto à indicação adequada de tabelas e figuras no corpo do texto (E14) e quanto à padronização correta das citações bibliográficas (E20). Cabe lembrar que esse fato pode refletir, em alguns casos, a própria natureza do texto analisado, que, por não conter tais elementos estruturais (tabelas e figuras) não exigiu comentários do revisor a respeito.
Um único elemento estrutural, dentre as categorias de análise adotadas, não foi observada nos pareceres: discussões sobre a seção Agradecimentos (E19). De fato, os textos produzidos pelos estudantes e analisados na atividade de peer review não continham essa seção, uma vez que foram oriundos de uma atividade didática e não de uma pesquisa que recebeu apoio de instituições para sua realização, não carecendo, portanto, de comentários nos pareceres.
Observamos que, em geral, a maioria dos aspectos estruturais foi ressaltada pelos estudantes na atividade de peer review, indicando familiaridade com as características gerais da organização e apresentação dos textos científicos. Cabe destacar que outras possíveis práticas de leitura de textos científicos, seja em disciplinas que tratam de características da literatura científica ou em atividades requeridas nas disciplinas de química, são fatores que contribuem para essa familiarização com a estrutura dos textos científicos (Massi, Santos e Queiroz, 2008).
Na Figura 2 apresentamos o percentual de pareceres que continham sentenças que expressavam comentários relacionados aos aspectos retóricos da linguagem científica (R1 a R20).
De acordo com os resultados, verificamos que 22,2% dos pareceres continham comentários sobre a importância de apresentar ao leitor as possíveis aplicações do trabalho relatado (R2), conforme podemos observar nos trechos a seguir:
Embora o artigo tenha sido bem redigido e está excelentemente apresentável, seria adequado incluir informações atuais a respeito da utilização desse composto. Uma maior discussão sobre a química aplicada no experimento deve ser praticada, assim como sugestões sobre várias aplicações da técnica devem ser inseridas.
As colocações apresentadas sugerem o reconhecimento por parte dos estudantes de que o trabalho do cientista, para que seja aceito pelos pares e pela sociedade em geral, precisa vir acompanhado de argumentos e justificativas para sua realização. Estes argumentos e justificativas usualmente se pautam na potencialidade de aplicação do trabalho. Essa forma de compreender o discurso científico indica uma superação de visões bastante tradicionais de ciência, como, por exemplo, a de que a ciência busca a verdade de maneira completamente desinteressada (Campanario, 2004).
A indicação de aspectos inovadores de um trabalho científico (R3) é outro recurso de autofortalecimento do texto no qual se evidencia práticas valorizadas pela comunidade científica (Coracini, 2007) e que foi levado em conta por alguns estudantes (11,1%). Alguns estudantes teceram críticas sobre tal questão, como revelam os trechos a seguir:
Não se trata de um artigo de revisão, mas também não se trata de uma contribuição nova e original, visto que seu conteúdo se restringe a mencionar uma reação de síntese comumente realizada, isenta de sugestões de aprimoramento. O assunto a ser tratado não é nada inovador na literatura, apenas caracteriza propriedades físico-químicas (solubilidade) de substâncias [...].
Em 13,9% dos pareceres foram observados comentários relacionados ao emprego de autoridades como, por exemplo, o uso de fontes bibliográficas reconhecidas (R11) para dar confiabilidade ao trabalho. O uso de citações bibliográficas de trabalhos de outros autores com ideias/ dados semelhantes (R14) para dar sustentação às afirmações do autor também foi outro tipo de elemento retórico mencionado em al-guns pareceres (8,3%). Os trechos a seguir exemplificam comentários dessa natureza:
Referências bibliográficas: estão de acordo com o conteúdo abordado e são de origem conceituada, tanto na internet como na literatura. Na introdução faltaram fontes de informações utilizadas e citações de trabalhos anteriores que tenham relação com a pesquisa realizada.
Esses dados demonstram que alguns estudantes conseguem realizar uma leitura crítica dos textos dos colegas, indicando que consideram os elementos retóricos um aspecto importante na qualidade de um texto de natureza científica. Tais estudantes apontaram elementos retóricos que poderiam ser acrescentados ao trabalho a fim de fortalecê-lo. Acreditamos que estas atividades possam contribuir não somente para a formação de leitores mais críticos e criteriosos, mas também estimulam os estudantes a reconhecer aspectos valorizados pela comunidade científica e comumente presentes nos textos produzidos na ciência.
Cabe destacar que muitas dos comentários apresentados pelos estudantes na atividade de peer review que estavam relacionados a características retóricas da linguagem científica possivelmente foram influenciados pelas atividades mencionadas anteriormente, nas quais foi aplicado um material didático sobre aspectos retóricos da linguagem, favorecendo a discussão entre os estudantes de assuntos dessa natureza. Dessa forma, acreditamos que atividades nas quais os estudantes podem observar e discutir diversas características do discurso científico são úteis no sentido de lhes propiciar uma base de conhecimentos sobre o assunto que os auxiliem nas tarefas de avaliação e análise crítica de um texto científico.
Algumas características retóricas não foram sequer mencionadas pelos estudantes em seus pareceres, como é o caso das estratégias de utilização das citações bibliográficas (R17 a R20). Cabe lembrar que nem sempre os artigos científicos publicados na literatura apresentam todos esses recur-sos de persuasão, seja pelo fato do autor desconhecer estratégias dessa natureza ou por não necessitar de tantos elementos retóricos para que sua pesquisa tenha crédito na comunidade científica (Oliveira e Queiroz, 2011). Acrescente-se a isso o fato de que a análise dos estudantes é bastante influenciada pelas características dos textos científicos que lhes são mais familiares. Dessa forma, por não observarem com tanta frequência alguns desses elementos retóricos nos textos científicos que leem em suas tarefas acadêmicas, torna-se ainda mais difícil para eles reconhecerem ou cobrarem sua presença nos trabalhos elaborados pelos colegas.
A análise realizada com base nos percentuais de pareceres que apresentaram pelo menos uma sentença relacionada a cada um dos aspectos estruturais e retóricos da linguagem científica nos possibilitou observar, de um modo geral, quais características foram mais ou menos comentadas pelos estudantes. Dentre os pareceres analisados, verificamos também qual foi aquele que apresentou o menor e o maior número de aspectos estruturais e retóricos nos comentários avaliativos.
O parecer que menos explorou os aspectos estruturais fez referência a apenas três categorias: apontou que as informações teóricas relacionadas ao tema foram bem apresentadas na seção Introdução (categoria E7); ressaltou a importância da figura utilizada para representar os mecanismos de reação química (categoria E12); e sugeriu melhorias na discussão dos dados com base nas teorias (categoria E15). Nesse contexto, os estudantes não fizeram uma avaliação rigorosa dos aspectos estruturais, deixando de comentar vários deles que careciam de melhorias, e mantiveram sua atenção mais sobre os conceitos químicos abordados no texto do que sobre a organização estrutural do texto científico.
O mesmo parecer também foi o que apresentou o menor número de sentenças relacionadas aos aspectos retóricos, destacando somente o “uso de boas referências” no texto analisado (uso de autoridades, categoria R11). Esse parecer foi elaborado por um dos grupos que considerou um mini -artigo relacionado ao tema 8 (Síntese da acetanilida). Este, não sendo passível de muitas discussões, pois trata de uma rota sintética clássica empregada nos laboratórios de ensino de Química Orgânica, pode não ter estimulado os estudantes a empregar mais recursos retóricos no texto e os estudantes responsáveis pela avaliação a considerá-los na elaboração do parecer. De fato, em outros estudos, observamos que dependendo da natureza e conteúdo do artigo científico, os auto-res irão mobilizar mais ou menos recursos retóricos na produção do texto (Oliveira e Queiroz, 2011).
No outro extremo, verificamos o parecer que mais fez comentários sobre aspectos estruturais e retóricos. Novamente, tal fato foi observado em um mesmo parecer, o qual foi elaborado para avaliação de um mini-artigo que abordou o tema 7 (Isolamento, purificação e caracterização da cafeína). Das 21 categorias de aspectos estruturais, 15 foram localizadas (E1, E2, E3, E5, E7, E8, E11, E12, E13, E14, E15, E16, E17, E20, E21). Dentre as 20 categorias de aspectos retóricos, nove foram observadas no mesmo parecer (R1, R2, R6, R7, R9, R10, R11, R12, R14), o que consideramos significativo, tomando como referência o fato de que esses aspectos foram, em geral, pouco mencionados pelos estudantes na atividade de peer review.
Mais uma vez voltamos nosso olhar para o teor do mini -artigo analisado, no intuito de compreender a maior presença dessas categorias no referido parecer. Neste mini-artigo, os estudantes apresentaram um trabalho cujo objeto de estudo, a cafeína, tem um interesse social mais explícito. Tal aspecto pode ter influenciado diretamente a elaboração de uma Introdução mais rica em informações da literatura e com diferentes citações bibliográficas. Em termos metodológicos, os estudantes relataram procedimentos de isolamento, purificação e caracterização, enriquecendo a seção Materiais e Métodos. Com uma variedade de dados para apresentar, a seção Resultados e Discussão foi também trabalhada com mais detalhes e aprofundamento. Dessa forma, acreditamos que o fato do mini-artigo apresentar mais elementos estruturais e retóricos influenciou os estudantes que o avaliaram a tecer mais comentários sobre vários aspectos da linguagem científica.
Considerações FinaisNeste estudo verificamos que os estudantes conseguiram observar nos textos avaliados principalmente aspectos estruturais da linguagem científica, sobretudo quanto à organização e conteúdos típicos de cada seção, uma vez que possivelmente sejam esses os elementos textuais mais conhecidos de outros trabalhos de natureza semelhante e mais difundidos dentro da comunidade científica. Os aspectos retóricos foram pouco citados nos pareceres, embora alguns alunos tenham requerido ou ressaltado a importância da presença de elementos que pudessem fortalecer o texto avaliado, tais como o emprego de autoridades e estratégias de autofortalecimento, revelando assim alguns aspectos valorizados pela comunidade científica.
Os comentários produzidos pelos estudantes na atividade de peer review no ensino superior de química revelaram que estes conseguiram distinguir nos textos avaliados diversos elementos que caracterizam o discurso científico, revelando, assim, indícios da apropriação de vários aspectos desse discurso. Ademais, as colocações dos estudantes indicaram que atividades dessa natureza podem favorecer uma melhor compreensão de alguns aspectos da prática da ciência passíveis de serem analisados por meio de seu discurso.
AgradecimentosÀ CAPES e FAPESP (Processo 2011/06555-9) pelo auxílio financeiro.