.
O financiamento público da ciência é responsável por muitas das descobertas biomédicas e outras descobertas científicas das quais nossas vidas dependem. No entanto, o processo pelo qual as decisões de financiamento são tomadas, a revisão por pares das propostas de concessão, tem sido historicamente pouco estudado e as abordagens atuais podem levar a resultados indesejáveis. Escrevendo em Integridade da Pesquisa e Revisão por ParesStephen A. Gallo, então afiliado ao Instituto Americano de Ciências Biológicas, e Michael Pearce, Carole J. Lee e Elena A. Erosheva, da Universidade de Washington, destacam problemas relacionados à classificação de propostas na revisão de bolsas e propõem um protocolo para melhorar eles.
Em muitos programas de revisão, dizem os autores, as propostas são financiadas principalmente com base nas classificações dos revisores e nas estatísticas resumidas derivadas delas, que representam a avaliação dos revisores sobre a qualidade da proposta. Confiar apenas nas classificações, no entanto, pode representar problemas para estabelecer prioridades de financiamento, “especialmente ao distinguir entre propostas com classificações semelhantes, especialmente para projetos de alta qualidade, onde apenas algumas pequenas deficiências podem fazer a diferença entre um projeto financiado e uma rejeição.” Além disso, dizem Gallo e seus colegas, o uso de rubricas de classificação “muitas vezes força os revisores a penalizar um projeto com base em uma série de pontos fracos identificados, mas menores, apesar do fato de que eles podem considerar o aplicativo como um todo potencialmente significativo”.
Para abordar essas preocupações, os autores sugerem adicionar classificações à abordagem de classificação tradicional e descrevem uma metodologia inovadora chamada Mallows-Binomial, que pode então produzir pontuações de proposta integradas, bem como uma ordem de preferência induzida. Ao fazer isso, a abordagem permite que os financiadores considerem as pontuações dos revisores juntamente com suas opiniões sobre como as propostas se comparam umas com as outras. Pearce afirma que a inclusão da classificação “destilará com mais precisão a opinião do revisor em uma saída útil para tomar uma decisão de financiamento informada”.
Para financiadores de pesquisas, os autores sugerem benefícios claros do protocolo Mallows-Binomial em comparação com abordagens apenas de classificações. Isso inclui “fornecer uma lista de prioridade classificada com métricas de confiança, um grau mais alto de discriminação entre propostas classificadas de forma semelhante e uma robustez para discrepâncias e inconsistências do revisor”, recursos que serão importantes para destilar a opinião do revisor “em uma saída útil para fazer o melhor , decisão mais informada” para financiar pesquisas cruciais.
.
