Por que deve-se temer as avaliações sobre quem produz mais ciência, e como essas avaliações discriminam o Terceiro Mundo.

Lea Velho
(Professora doutora do Departamento de Política Científica e Tecnológica, Instituto de Geociências, Universidade Estadual de Campinas – UNICAMP)

    A avaliação do trabalho científico através de indicadores quantitativos é um tema que vem ganhando cada vez mais espaço em estudos acadêmicos e não é por acaso. Essa avaliação, ou melhor, os diversos tipos de avaliações de trabalhos científicos, são um dos critérios utilizados por governos e órgãos multinacionais, como a Unesco ou a Organização Mundial da Saúde, para decidir como direcionar seus recursos destinados à pesquisa e ao desenvolvimento. Trata-se de um instrumento com o qual está-se decidindo quem vai ganhar dinheiro para pesquisar ou quem será tido como improdutivo e que, por isso, vai ter que se contentar com menos ou nenhum recurso. Para os mais diversos donos e gestores de recursos, faz cada vez mais sentido utilizar avaliações da produção científica, pois a disponibilidade de recursos para ciência é limitada e compete com os demais setores de investimento público. Além disso, o procedimento de deixar a decisão de como alocar recursos para ciência exclusivamente com os próprios praticantes dessa atividade é algo questionável e que deixa muito a desejar.

    Portanto, são as avaliações quantitativas dos trabalhos científicos utilizadas internacionalmente que apontam para este ou aquele cientista, esta ou aquela área do conhecimento, este ou aquele país, como mais férteis ou mais produtivos. E é aqui onde reside um problema grave para o qual os avaliadores da ciência nos mais diversos níveis e a comunidade acadêmica em geral deveriam atentar. Convém aqui também um grave alerta aos jornalistas, especialmente os especializados na cobertura de temas científicos, que muitas vezes repercutem a divulgação dessas avaliações com manchetes seguidas de comentários do tipo "o cientista brasileiro que mais publicou, ou que é mais citado, é fulano de tal", ou ainda mais grave, "a ciência brasileira com maior número de citações em trabalhos científicos é esta ou aquela". O grande problema em generalizações do tipo, tão ao gosto da mídia, é que elas podem embutir graves erros, motivados por alguns vícios de origem dos índices usados para essas avaliações.

    Falemos do índice que serve de base para quase todas avaliações da produção científica, o Science Citation Index (SCI), compilado desde 1963 pela empresa americana Institute for Scientific Information (ISI), que mantém a maior base de dados bibliográfica, hoje disponível também via internet. O SCI coleta citações a autores feitas em artigos publicados nas revistas que tem indexadas (há apenas três brasileiras num total de 3.762 revistas. Na lista adicional intitulada "SCI Expanded" há quinze revistas brasileiras para 5.891 indexadas) e elabora, com estas citações, um lista dos que mais apareceram, gerando os conceitos e métodos para medir a literatura científica. O índice lista publicações (artigos e periódicos), citações e autores (cientistas individuais, projetos, departamentos, institutos, países), agregados das maneiras mais diversas (por escolas de pensamento, por grupos teóricos, por especialidades, "redes", aglomerados etc), a fim de representar estrutural e graficamente os domínios e níveis da atividade de pesquisa na ciência. Esse tipo de avaliação também foi impulsionado pelos vastos avanços tecnológicos que permitiram uma base de dados computadorizada onde uma informação pode ser facilmente encontrada, como quantas vezes tal cientista foi citado ou qual disciplina tem maior número de citações. Aparentemente simples e direto, e por isso adotado sem cerimônias por quase todos os que se dispõem a avaliar produção científica, o SCI enquanto base de dados, de fato, apresenta uma série de problemas, tanto do ponto de vista conceitual como metodológico.

    A premissa básica dos estudos de citações como medida do desempenho científico é que uma publicação deve ter certa qualidade básica para gerar impacto (isto é, o número de citações que um artigo recebe num dado período). Essa premissa, no entanto é bastante discutível por uma série de problemas, tais como:

• Há uma reconhecida tendência dos cientistas de se auto-citar (fazer "propaganda" do seu próprio trabalho) e de citar seus amigos, já que conhece bem seus trabalhos anteriores e os de seus amigos.

• O sistema de comunicação científica internacional é bastante imperfeito e o acesso a trabalhos varia consideravelmente, o que torna questionável a atitude de mensurar algo apenas pelas citações.

• Há uma barreira linguística que muitas vezes separa os cientistas de determindas publicações indexadas no SCI, de onde são colhidas as citações.

• Trabalhos de pesquisa fundamental são muito mais citados do que os experimentais, o que não significa que são mais importantes.

• Práticas de publicação variam entre as áreas do conhecimento. Não se pode, por exemplo, dizer que a física é mais produtiva que a matemática com base nos trabalhos publicados de uma e outra. São ciências diferentes, com culturas diferentes no que se refere à divulgação em revistas científicas.

• Trabalhos são citados sem terem sidos lidos e analisados cuidadosamente.

• Citações são muitas vezes feitas de segunda mão, isto é, levantadas de um outro artigo, sem terem sido lidas e sem dar crédito ao trabalho que primeiramente as apontou.

• Citações são muitas vezes colocadas depois que o trabalho de pesquisa está pronto, quase como uma "decoração" para se seguir o "ritual" acadêmico.

Vícios de origem

    Há também alguns vícios de origem nas avaliações da ciência por meio de índices como o SCI. Elas se baseiam muitas vezes em premissas que não são verdadeiras. Uma delas é a de que o objetivo da ciência é unicamente, ou principalmente, a produção de novos conhecimentos científicos, como os que são divulgados em periódicos. Isso ignora outros objetivos da pesquisa científica tais como a contribuição para solução de problemas nacionais, regionais, locais; a contribuição para o desenvolvimento tecnológico; a formação e treinamento de novos pesquisadores e de pessoal qualificado para as profissões; o aumento do prestígio nacional e internacional de um país (o que, nas sociedades modernas, tem uma conotação de poder); garantia da autonomia de um país num determinado setor e a influência sobre a visão de mundo da sociedade em geral. Esse aspectos todos não são considerados pelos indicadores de "output" usados convencionalmente, tais como as citações em periódicos.

    Outra premissa equivocada na utilização de índices como o SCI é que o produto da ciência e sua qualidade refletem-se integralmente nos instrumentos escritos formais de comunicação científica, particularmente nos periódicos científicos, ou seja, os cientistas são recompensados pelas contribuições originais que fazem ao avanço do conhecimento científico por meio da estima e reconhecimento que recebem de seus pares que lêem seus artigos publicados.

    Ocorre, entretanto, que vários autores consideram que a publicação formal é apenas um dos tipos de comunicação em ciência -- menos significativo e radicalmente diferente dos meios informais -- e portanto, acreditam que faz pouco sentido derivar medidas quantitativas a partir da literatura científica. Eles argumentam que o conhecimento tácito -- por exemplo, a aprendizagem de técnicas de laboratório durante o treinamento e os processos de "negociação" entre colegas -- é parte constitutiva da ciência e que, por definição, não pode ser descrita na literatura científica. Ignorar esses meios de comunicação informal, como os indicadores quantitativos convencionais fazem, é mais do que simplesmente escolher uma técnica analítica; significa a perpetuação de um relato por demais racional dos processos científicos, que sistematicamente obscurece suas características fundamentais. E, "oferecendo uma visão geral objetiva da ciência 'como ela é', tais métodos implicam um enfoque impropriamente positivista e realista", nas palavras de D. Edge (1).

    Além do conhecimento tácito, outros tipos de conhecimento gerados pela pesquisa podem não chegar até a literatura científica publicada por uma série de motivos que podem ser chamados de sociais: falta de motivação em função do sistema de recompensa vigente; dificuldade de acesso aos periódicos científicos; cláusula de confidencialidade imposta pela institutição em que trabalha etc. Mesmo ignorando essas objeções, para transformar uma contagem de publicações em uma medida do conhecimento gerado, tem que se admitir que todo artigo contém a mesma contribuição ao conhecimento -- apesar dessa premissa ser muito pouco plausível.

    Na verdade chega a haver um certo consenso no sentido de que número de publicações não reflete qualidade em ciência, e por isso é que se lança mão da contagem de citações recebidas por um determinado trabalho como medida de sua qualidade. Essa equivalência de número de citações com qualidade de um artigo citado é provavelmente o aspecto mais controverso e debatido em toda a literatura sobre indicadores científicos. Por mais de vinte anos, alguns sociólogos têm alertado para o fato de que dados de citação não deveriam ser usados em pesquisa até que eles fossem melhor entendidos. Um bem conhecido "aviso prévio" veio de Kaplan (2) que sentia que "é fácil demais fazer inferências injustificadas a partir de análise de citações", seguido por Mulkay (3), que afirmava que "o uso dos padrões de citações […] claramente envolve uma teoria de citação que está longe de ser satisfatoriamente elaborada". Além desses autores, vários outros têm enfatizado que a análise de citações requer, urgentemente, fundamentos epistemológicos mais seguros e que qualquer relação entre citação e comportamento dos cientistas só pode ser estabelecida por decreto do analista. Apesar disso, dados de citação têm se tornado cada vez mais usados, ao ponto de que as observações de Kaplan no seu artigo inovador de 1965 serem tão relevantes hoje quanto eram naquela época.

    Outra limitação frequentemente apontada dos indicadores científicos de "output" é que eles não levam em consideração as diferenças significativas na organização, no sistema de comunicação e no comportamento dos cientistas das diferentes áreas do conhecimento, de diferentes países, e de naturezas diferentes de pesquisa -- básica e aplicada. O fato de que a quase totalidade dos estudos empíricos que tentaram estabelecer as relações entre citações e reconhecimento terem sido conduzidos nos EUA e principalmente na área de física no contexto acadêmico, torna a extensão dos indicadores para as outras áreas, países e contextos, passível de questionamento. Principalmente quando já se dispõem de informações substantivas pelo menos sobre as diferenças que existem entre áreas do conhecimento, e mesmo entre subáreas dentro da mesma área.

    Controvérsias estendem-se também ao aspecto técnico da compilação de informações para construção dos indicadores, isto é, `a metodologia usada na formação da base de dados. Um problema técnico bastante sério com os indicadores de "output", em particular, mas que se aplica aos indicadores científicos em geral, é a falta de um referencial contra o qual se possam comparar as medidas obtidas. Conforme enfatiza Morison (4), "ninguém tem qualquer idéia real sobre qual proporção da população científica deveria estar fazendo radioastronomia, quantos artigos deveriam ser publicados a cada ano, ou deveriam ser citados por quantos europeus". Dessa maneira, o que se acaba fazendo é comparar um país com outro, ou o presente com o passado. Esse critério, no entanto, não nos dá nenhuma garantia de estarmos caminhando no sentido desejado.

Prioridade ao Primeiro Mundo

    Junte-se a isso as tendenciosidades do SCI em favor de países cientificamente centrais e de língua inglesa que são amplamente conhecidas e reconhecidas pelos próprios autores que as usam em seus estudos de avaliação de pesquisa, caso de Frame (5) e Blickenstaff & Moravcsik (6).

    O número de citações quando usado particularmente para avaliar pesquisa em países periféricos tem pouca aplicabilidade. Embora considerando que citação indica impacto, é óbvio que não pode existir impacto sem visibilidade. Assim, para certas áreas específicas de pesquisa nas quais as contribuições à pesquisa internacional é um objetivo legítimo e reconhecido, as citações podem ser indicadores parciais úteis da visibilidade internacional dos pesquisadores. Não se deve esperar mais que isso ou que o número de citações sirva como instrumento de monitoração para comparar unidades de pesquisa trabalhando no mesmo campo (departamentos, institutos) dentro de um país ou entre países diferentes.

    Quando as fitas contendo as informações do SCI foram descobertas como instrumentos para se estudar a distribuição da ciência no mundo é evidente que a América Latina não ia escapar ilesa de ter o esforço científico de seus países comparado entre si e com o dos outros países do mundo. Começou-se então a verificar que o critério está cheio de falhas quando se realiza esse tipo de comparação. Alguns estudos empíricos tornaram esse fato ainda mais evidente. Primeiramente, Roche & Freites (7) demonstraram que a contribuição científica da Venezuela era, conforme dados coletados localmente, pelo menos duas vezes maior que aquela estimada pelo SCI. Além disso, Cagnin (8) trabalhou com outra base de dados de literatura científica internacional, o Chemical Abstracts (CA), para avaliar o progresso científico brasileiro na área de química de 1972 a 1982 e, comparando os números do CA com os do SCI, constatou que esse último subestimava consideravelmente a contribuição brasileira na área. Finalmente, num debate levado a cabo nas páginas da revista Scientometrics entre Velho (9) e Moravcsik (10) ficou claro que os dados de publicação e citação obtidos dentro de um determinado país periférico não podem ser comparados com aqueles obtidos para o mesmo país a partir do SCI e, talvez mais importante, que o quadro da ciência que se desenha com o uso de cada uma dessas bases de dados é significativamente diferente.

Pressupostos simplistas para a América Latina

    Ainda que estudos usando o SCI continuem a ser conduzidos, desenvolveu-se um tal descrédito com relação a indicadores científicos derivados dessa base de dados para se analisar a ciência na América Latina, que poucos analistas hoje se aventuram nessa direção. Os responsáveis pela publicação do SCI estão conscientes desse fato, tanto que em 1985 abriram as portas do quartel-general do Institute for Scientific Information, na Filadélfia, para abrigar uma reunião financiada pela Fundação Rockfeller e pela National Science Foundation (EUA), que objetivou especificamente discutir a questão: "A ciência feita nos países de Terceiro Mundo está adequadamente representada nos indicadores bibliométricos internacionais de produtividade científica?". O relatório final dessa reunião menciona que "os participantes estimaram que apenas metade da produção do Terceiro Mundo que atinge os padrões internacionais de excelência está incluída no SCI", como cita Moravcsik (10). Em outras palavras, isso significa que os participantes consideram que basta multiplicar por dois a contribuição dos países periféricos hoje detectada pelo SCI e se obterá a produção científica "real" de qualidade internacional originada desses países. Na verdade, fica claro que não existe evidência que justitique essa conclusão; ela é baseada apenas em dois pressupostos, ambos bastante simplistas e, certamente equivocados:

1. Que a cobertura incompleta da produção científica do Terceiro Mundo pelo SCI afeta todos os países periféricos e todas a áreas do conhecimento da mesma maneira. Sabe-se que isso não é verdade; o próprio Frame (11) admite, por exemplo que a produção científica brasileira é mais subestimada que a dos outros países latinoamericanos porque está escrita em português. Ao mesmo tempo, Rabkin (12) apurou que a produção científica das ex-colônias britânicas na Africa, porque publicada em inglês, tem mais visibilidade internacional que a de outros países africanos. Além disso, a contribuição científica dos países periféricos é muito maior em certas áreas de pesquisa e especialidades do que em outras. Por exemplo, cerca de metade de toda a produção científica em solos tropicais se origina do Terceiro Mundo, como informam Chatelin & Arvanitis (13).
2. Que a literatura científica produzida pelos países periféricos em suas próprias línguas nativas e não indexada pelo SCI é, geralmente, de baixa qualidade ou sem interesse para a ciência internacional. Ou seja, aquilo que é publicado localmente, e não vai aos periódicos mais conhecidos, não atenderia aos padrões internacionais de "excelência". Esse modelo que faz uma correspondência direta entre visibilidade internacional e qualidade e relevância de pesquisa deve ser enfaticamente questionado. Estudos recentes têm evidenciado que as decisões que os cientistas de países periféricos tomam em relação a qual periódico publicar seu trabalho científico é influenciada por uma série de fatores de ordem social e individual, que não podem ser ditos como mantendo qualquer relação com a "qualidade" da pesquisa. Isso fica bem claro por estudos como o de Velho (14) sobre a comunidade científica da área agrícola no Brasil; ou o de Eisemon & Davis (15), que cobriu as áreas de física, biologia, bioquímica, computação e engenharia elétrica na Coréia do Sul, Formosa, Singapura e Malásia. A contribuição principal desses estudos é que eles procuram, junto aos cientistas, explicações para os comportamentos encontrados. Entre os motivos identificados por eles para que cientistas prefiram publicar seus trabalhos em periódicos locais estão: dificuldade de escrever em inglês; falta de recursos para pagar as despesas de publicação exigidas por vários periódicos internacionais; sentimento nacionalista de reforçar os periódicos de seus proprios países e incentivar colegas a escrever na própria língua; atingir uma audiência que não lê periódicos estrangeiros; dificuldade de acesso aos periódicos internacionais quando nunca se estudou no exterior e o caráter nacional ou regional de alguns tópicos de pesquisa focalizados pelos pesquisadores de países periféricos. Tais motivos apontam para longe da tradicional interpretação de que aquilo que é publicado na literatura científica local dos países periféricos (ou melhor, aquilo que não é "mainstream") é porque tem baixa qualidade, como os trabalhos baseados no SCI querem nos fazer acreditar. Pelo contrário, eles deixam claro que a escolha do canal de publicação pelos pesquisadores é feita com base em uma infinidade de critérios e que esse processo todo tem que ser bem estudado e compreendido antes que se façam julgamentos sobre a contribuição do Terceiro Mundo ao conhecimento científico.

    Em vistas desses fatos, fica claro que os dados do SCI dizem muito pouco sobre o tipo e a qualidade de ciência que se faz nos países periféricos e, consequentemente, de pouco servem como ferramenta para auxiliar a tomada de decisões em política de C&T. Mesmo que o mantenedor do SCI, o Institute for Scientific Information, siga recomendações que já lhe foram feitas no sentido de ampliar sua cobertura dos periódicos de "qualidade internacional" do Terceiro Mundo, ainda assim o SCI vai continuar refletindo uma parte apenas do esforco científico desses países, definida através de critérios que nem sempre são os que interessam a esses países.

    É necessário ter claro que os objetivos da pesquisa científica, ou o peso a ser dado a cada dimensão desses objetivos, variam de país para país, variam com o tempo dentro de um mesmo país, variam de instituição para instituição, e mesmo de indivíduo para indivíduo. Esse é um dos grandes problemas da avaliação, pois os cientistas, os planejadores e financiadores de pesquisa (públicos ou privados) e o público em geral têm frequentemete expectativas contraditórias com relação aos objetivos e consequentemente com relação aos produtos das pesquisas, assim como com relação aos padrões de excelência pelos quais elas deveriam ser avaliadas.

    Além disso, os diversos objetivos da pesquisa não estão necessáriamente correlacionados, muito pelo contrário. Isso significa que o fato do sistema científico de um país, uma institutição ou grupo de pesquisa ter um desempenho excelente com relação a um determinado objetivo não é garantia alguma de que ele terá desempenho semelhante com relação aos outros objetivos. Na verdade, é um erro comum eleger uma única dimensão de eficiência como principal e então usá-la como único padrão para fins de avaliação. Os planejadores e financiadores frequentemente demandarão objetivos e resultados que sejam relevantes do ponto de vista econômico ou social e possivelmente considerarão a questão da excelência técnica ou acadêmica como irrelevante ou menos importante. Os pesquisadores, por sua vez, argumentarão que a produção de novos conhecimentos é pré-condição para qualquer trabalho científico ou tecnológico. As autoridades universitárias podem insistir na avaliação de grupos de pesquisa em termos de sua contribuição ao ensino. O erro oposto também é comum e consiste em se aceitar sem critérios ou análises os objetivos de pesquisa auto-definidos pelos grupos de pesquisa ou instituições como único critério para sua avaliação.

    Por tudo isso, é extremamente importante que as avaliações de produção científica levem em consideração que os índices podem abrigar, como já foi dito, inúmeros vícios de origem. A reprodução dessas quantificações em reportagens, como se tem feito no Brasil, pode "comprar" essas informações e equivocadamente repassar ao leitor uma visão do meio científico primeiro-mundista, parcial e totalmente disforme.

1) EDGE, D. (1979), "Quantitative Measures of Communication in Science: a Critical Review", History of Science, vol.17, pp.102-134.

2) KAPLAN, N. (1965), "The Norms of Citation Behavior: Prolegomena to the Footnote", American Documentation, vol.16, nº3, pp.179-184.

3) MULKAY, M.J. (1969), "Some Aspects of Growth in the Natural Sciences", Social Research, vol.36, nº1, pp.22-52.

4) MORISON, R. S. (1982), "Needs, Leads and Indicators", in M. C. La Follette (ed), Quality in Science. Cambridge, Mass.: the MIT Press, pp.33-47.

5) FRAME, J. D.; F. NARIN & M. P. CARPENTER (1977), "The Distribution of World Science", Social Studies of Science, vol.7, pp.501-516.

6) BLICKENSTAFF, J. & M.J. MORAVCSIK (1982), "Scientific "output" in the Third World", Scientometrics, vol.4, pp.135-169.

7) ROCHE, M. & Y. FREITES (1982), "Produccion y Flujo de Informacion Cientifica en un Pais Periferico Americano (Venezuela)", Interciencia, vol.7, nº5, pp.279-290.

8) CAGNIN, M. A. H. (1985), "Patterns of Research in Chemistry in Brazil", Interciencia, vol.10, nº2, pp.64-77.

9) VELHO, L. (1986), "The 'Meaning' of Citation in the Context of a Scientifically Peripheral Country", Scientometrics, vol.9, nº 1-2, pp.71-89.

VELHO, L. (1987a), "The Author and the Beholder: How Paradigm Commitments Can Influence the Interpretation of Research Results", Scientometrics, vol.11, nº1-2, pp.59-70.

10) MORAVCSIK, M. J. (1987), "In the Beholder's Eye: a Possible Reinterpretation of Velho's Results on Brazilian Agricultural Research", Scientometrics, vol.11, nº1-2, pp.53-57.

11) FRAME, J. D. (1977), "Mainstream Research in Latin America and the Caribbean", Interciencia, vol.2, pp.143-147.

12) RABKIN Y. M.; T. O. EISEMON; J.J. LAFITTE-HOUSSAT & E.M. RATHGEBER (1979), "Citation Visibility of Africa's Science", Social Studies of Science, vol.9, pp.499-506.

13) CHATELIN, Y. & R. ARVANITIS (1988), "Research on Soils and Agriculture of LDCs: the Balance Between International and Regional Trends, Social Studies of Science, no prelo.

14) VELHO, L. (1985), "Science on the Periphery: a Study of the Agricultural Scientific Community in Brazilian Universities", tese de Doutorado apresentada `a Universidade de Sussex, Inglaterra.

15) EISEMON, T. O. & C. H. DAVIS (1988), "Publication Strategies of Scientists in Four Peripheral Asian Scientific Communities: Some Issues in the Measurement and Interpretation of Non Mainstream Science", Centre for Cognitive and Ethnographic Studies, McGill University, Canada (mimeo, a ser publicado como capítulo de livro)