CIÊNCIA
A ciência de provar qualquer coisa
Ovo frito faz bem? Ovo frito faz mal? Entenda por que é tão fácil confirmar cientificamente teorias opostas - e por que a maioria dos resultados tem mais chance de ser falsa do que de ser verdadeira
por Salvador Nogueira
Em 2003, um grupo de cientistas italianos (de onde mais?) constatou que comer pizza poderia prevenir alguns tipos de câncer do sistema digestivo. Para chegar a essa conclusão, examinaram 3 315 pessoas com a doença e as contrastaram com outros 5 mil indivíduos que não tinham câncer. Entre os saudáveis havia muito mais pessoas que comiam pizza do que no grupo dos doentes. De posse de dados tão conclusivos, publicaram os resultados no International Journal of Cancer. Quatro anos depois, um novo estudo, feito por cientistas chineses, constatou que uma dieta rica em proteína animal (que inclui a boa e velha mussarela das pizzas) aumenta em até 50% o risco de câncer no sistema digestivo. Para chegar a essa conclusão, pegaram 1 204 mulheres com o tumor e as compararam com 1 212 outras saudáveis. As saudáveis comiam menos proteína animal (ou seja, queijo) do que as doentes. Adivinhe o que fizeram então os chineses? De posse de dados tão conclusivos, publicaram os resultados no International Journal of Cancer. Mas e aí, aquela pizzada evita ou estimula o câncer? O que esses estudos nos dizem sobre o hábito de comer pizza?
Na realidade, os estudos não nos ensinam nada sobre pizza - mas muito sobre ciência. Quem acompanha com frequência o noticiário já percebeu que nem sempre dá para botar fé nos resultados científicos que pululam na mídia. Um dia, comer ovo protege o coração; no dia seguinte, aumenta o risco de enfarte. Aspirina uma hora ajuda a mitigar o mal de Alzheimer; na outra, não faz efeito. A ciência parece ter a inexplicável característica de conseguir provar qualquer coisa. Mas como isso pode acontecer?
Números e números
Apesar de tantos resultados contraditórios, é difícil calcular uma proporção de erros para pesquisas científicas. Uma das únicas tentativas feitas até hoje é um estudo da Universidade Tufts, de Boston, que afirma que mais de 50% dos resultados que nos são apresentados diariamente pelos cientistas estão errados. Para o autor do trabalho, John Ioannidis, até mesmo praticando a "boa ciência" (ou seja, baseada em premissas razoáveis e protocolos confiáveis), é possível obter um resultado que seja cientificamente defensável, mas absolutamente falso. E ele tem fortes motivos para acreditar nisso.
Fazer ciência significa elaborar uma hipótese e executar um experimento para sustentá-la. É aí que está o primeiro gancho: tudo que um cientista imaginar pode ser estudado. Para cada trabalho que comprova, vamos dizer..., que comer ameixa ajuda no funcionamento do intestino, pode haver dezenas de outros provando que ameixas previnem resfriados ou curam dores nas costas, por exemplo. "O problema básico é que há muito mais hipóteses falsas no mundo do que verdadeiras. Assim, se você testar todas as hipóteses que surgirem na sua cabeça, a maioria das que parecerem verdadeiras será na verdade falsa", diz Alex Tabarrok, economista da Universidade George Mason, no Canadá.
Para testar esses milhões de hipóteses possíveis, os cientistas então se munem de amostras enormes para extrair resultados relevantes. "Amostras maiores são melhores. Mas nem sempre resolvem o problema", afirma Tabarrok. É o caso dos estudos das pizzas. Cada um analisou milhares de pessoas - e ainda assim resultaram em conclusões opostas. Ocorre que, por melhores que sejam as amostras, às vezes elas tendem a confirmar hipóteses falsas. Segundo análises estatísticas, erros assim ocorrem em mais ou menos 5% dos casos. É algo parecido com o que acontece com as pesquisas de intenção de voto. Costumam acertar na mosca - mas nem sempre.
Não é difícil entender os perigos armados por correlações estatísticas. O método é arriscado para chegar a conclusões definitivas. Afinal, a correlação estatística (que analisa dois fatores distintos como "mais pizza/menos câncer") pode ser explicada por alguma outra coisa que o estudo não considerou. Isso aconteceu em 2007, quando uma pesquisa da Universidade Harvard, nos EUA, relacionou o consumo de soja com infertilidade masculina. O dado deixou milhares de homens com medo de tofu, mas poucos prestaram atenção num detalhe. Os voluntários do estudo (que, aliás, eram somente 99) foram angariados numa clínica de reprodução. Ou seja, provavelmente já tinham problemas de fertilidade - independentemente do consumo de soja.
Ciência best sellerA coisa só piora quando os cientistas precisam justificar o financiamento às suas linhas de pesquisa. O que acontece, então, é que eles se concentram sempre nos mesmos tópicos quentes. É o caso do estudo das células-tronco ou de análises de risco de doenças com base na genética: são assuntos que estão na moda - e precisam lutar entre si por um espaço ao sol. É aí que entra o fantasma do hype, o gosto de revistas por publicar resultados bombásticos, mesmo que não sejam os mais precisos (ou você já viu uma pesquisa anunciando que algo não causa alguma doença?). Ultimamente, a situação ficou tão crítica que a Nature, revista científica mais prestigiada do planeta, estabeleceu um canal para pesquisadores apontarem se há algo hype nos artigos que andam publicando. Tanta preocupação se justifica. O estudo de Ioannidis, o que afirma que a maioria das pesquisas está errada, acompanhou 49 trabalhos que foram publicados nas mais importantes revistas científicas do mundo - e mostrou que um terço deles foi desmentido em poucos anos. Ou seja, tem gente publicando resultados bombásticos demais - o que é bom para os negócios e péssimo para a ciência.
O que também determina a publicação de uma pesquisa é o sistema de peer-review ("revisão por pares"), em que um trabalho só recebe a chancela de uma revista científica depois que outros cientistas julgam se tratar de boa ciência. Quem conhece bem esse sistema é o físico português João Magueijo, do Imperial College, de Londres. Ele tentou propor uma teoria em que a velocidade da luz não fosse constante - uma ideia que contrasta com a Teoria da Relatividade de Einstein. Resultado: todos seus artigos foram recusados. "Qualquer ideia muito nova tem um problema já no início", diz Magueijo. Para ele, os grandes papas da ciência, que julgam os novos artigos, costumam rejeitar propostas diferentes do status quo porque passaram a vida se dedicando a noções consagradas. "Sim, existem problemas no peer-review", diz Henry Gee, editor da Nature. "Mas, num todo, ainda funciona. Afinal, quem dá o parecer também é autor, e espera que seu próximo estudo seja tratado com justiça. Por isso, tenderá a ser justo." Ainda assim, se não houvesse falhas, como explicar grandes fraudes, como a do sul-coreano Woo-suk Hwang, que em 2004 disse ter clonado humanos?
Eis que a ciência não é aquele conjunto de verdades que gostaríamos que fosse. No fim das contas, avanços são inegáveis. Mas, quando os cientistas estão ainda testando hipóteses, o processo é muito mais tor-tuoso do que se imagina. Só não podemos desprezar o valor da pesquisa. Até mesmo trabalhos pouco conclusivos são importantes. "Alguns dos resultados de baixa credibilidade podem levar a novos modos de pensar. Gostaria apenas que não tivéssemos vergonha de dizer ‘encontramos algo muito interessante, mas que tem apenas 1% de probabilidade de ser verdadeiro’", diz Ioannidis. Aí, quem sabe, não teríamos de quebrar a cabeça para saber se o delicioso ovo da página anterior faz bem ou mal.
Os caminhos da ciência
Pegamos 3 hipóteses testadas sobre ovo que resultaram em conclusões bem diferentes. E tudo com base na ciência
Para saber mais
Why Most Published Research Findings Are False
pubmedcentral.nih.gov/articlerender.
Na realidade, os estudos não nos ensinam nada sobre pizza - mas muito sobre ciência. Quem acompanha com frequência o noticiário já percebeu que nem sempre dá para botar fé nos resultados científicos que pululam na mídia. Um dia, comer ovo protege o coração; no dia seguinte, aumenta o risco de enfarte. Aspirina uma hora ajuda a mitigar o mal de Alzheimer; na outra, não faz efeito. A ciência parece ter a inexplicável característica de conseguir provar qualquer coisa. Mas como isso pode acontecer?
Números e números
Apesar de tantos resultados contraditórios, é difícil calcular uma proporção de erros para pesquisas científicas. Uma das únicas tentativas feitas até hoje é um estudo da Universidade Tufts, de Boston, que afirma que mais de 50% dos resultados que nos são apresentados diariamente pelos cientistas estão errados. Para o autor do trabalho, John Ioannidis, até mesmo praticando a "boa ciência" (ou seja, baseada em premissas razoáveis e protocolos confiáveis), é possível obter um resultado que seja cientificamente defensável, mas absolutamente falso. E ele tem fortes motivos para acreditar nisso.
Fazer ciência significa elaborar uma hipótese e executar um experimento para sustentá-la. É aí que está o primeiro gancho: tudo que um cientista imaginar pode ser estudado. Para cada trabalho que comprova, vamos dizer..., que comer ameixa ajuda no funcionamento do intestino, pode haver dezenas de outros provando que ameixas previnem resfriados ou curam dores nas costas, por exemplo. "O problema básico é que há muito mais hipóteses falsas no mundo do que verdadeiras. Assim, se você testar todas as hipóteses que surgirem na sua cabeça, a maioria das que parecerem verdadeiras será na verdade falsa", diz Alex Tabarrok, economista da Universidade George Mason, no Canadá.
Para testar esses milhões de hipóteses possíveis, os cientistas então se munem de amostras enormes para extrair resultados relevantes. "Amostras maiores são melhores. Mas nem sempre resolvem o problema", afirma Tabarrok. É o caso dos estudos das pizzas. Cada um analisou milhares de pessoas - e ainda assim resultaram em conclusões opostas. Ocorre que, por melhores que sejam as amostras, às vezes elas tendem a confirmar hipóteses falsas. Segundo análises estatísticas, erros assim ocorrem em mais ou menos 5% dos casos. É algo parecido com o que acontece com as pesquisas de intenção de voto. Costumam acertar na mosca - mas nem sempre.
Não é difícil entender os perigos armados por correlações estatísticas. O método é arriscado para chegar a conclusões definitivas. Afinal, a correlação estatística (que analisa dois fatores distintos como "mais pizza/menos câncer") pode ser explicada por alguma outra coisa que o estudo não considerou. Isso aconteceu em 2007, quando uma pesquisa da Universidade Harvard, nos EUA, relacionou o consumo de soja com infertilidade masculina. O dado deixou milhares de homens com medo de tofu, mas poucos prestaram atenção num detalhe. Os voluntários do estudo (que, aliás, eram somente 99) foram angariados numa clínica de reprodução. Ou seja, provavelmente já tinham problemas de fertilidade - independentemente do consumo de soja.
Ciência best sellerA coisa só piora quando os cientistas precisam justificar o financiamento às suas linhas de pesquisa. O que acontece, então, é que eles se concentram sempre nos mesmos tópicos quentes. É o caso do estudo das células-tronco ou de análises de risco de doenças com base na genética: são assuntos que estão na moda - e precisam lutar entre si por um espaço ao sol. É aí que entra o fantasma do hype, o gosto de revistas por publicar resultados bombásticos, mesmo que não sejam os mais precisos (ou você já viu uma pesquisa anunciando que algo não causa alguma doença?). Ultimamente, a situação ficou tão crítica que a Nature, revista científica mais prestigiada do planeta, estabeleceu um canal para pesquisadores apontarem se há algo hype nos artigos que andam publicando. Tanta preocupação se justifica. O estudo de Ioannidis, o que afirma que a maioria das pesquisas está errada, acompanhou 49 trabalhos que foram publicados nas mais importantes revistas científicas do mundo - e mostrou que um terço deles foi desmentido em poucos anos. Ou seja, tem gente publicando resultados bombásticos demais - o que é bom para os negócios e péssimo para a ciência.
O que também determina a publicação de uma pesquisa é o sistema de peer-review ("revisão por pares"), em que um trabalho só recebe a chancela de uma revista científica depois que outros cientistas julgam se tratar de boa ciência. Quem conhece bem esse sistema é o físico português João Magueijo, do Imperial College, de Londres. Ele tentou propor uma teoria em que a velocidade da luz não fosse constante - uma ideia que contrasta com a Teoria da Relatividade de Einstein. Resultado: todos seus artigos foram recusados. "Qualquer ideia muito nova tem um problema já no início", diz Magueijo. Para ele, os grandes papas da ciência, que julgam os novos artigos, costumam rejeitar propostas diferentes do status quo porque passaram a vida se dedicando a noções consagradas. "Sim, existem problemas no peer-review", diz Henry Gee, editor da Nature. "Mas, num todo, ainda funciona. Afinal, quem dá o parecer também é autor, e espera que seu próximo estudo seja tratado com justiça. Por isso, tenderá a ser justo." Ainda assim, se não houvesse falhas, como explicar grandes fraudes, como a do sul-coreano Woo-suk Hwang, que em 2004 disse ter clonado humanos?
Eis que a ciência não é aquele conjunto de verdades que gostaríamos que fosse. No fim das contas, avanços são inegáveis. Mas, quando os cientistas estão ainda testando hipóteses, o processo é muito mais tor-tuoso do que se imagina. Só não podemos desprezar o valor da pesquisa. Até mesmo trabalhos pouco conclusivos são importantes. "Alguns dos resultados de baixa credibilidade podem levar a novos modos de pensar. Gostaria apenas que não tivéssemos vergonha de dizer ‘encontramos algo muito interessante, mas que tem apenas 1% de probabilidade de ser verdadeiro’", diz Ioannidis. Aí, quem sabe, não teríamos de quebrar a cabeça para saber se o delicioso ovo da página anterior faz bem ou mal.
Os caminhos da ciência
Pegamos 3 hipóteses testadas sobre ovo que resultaram em conclusões bem diferentes. E tudo com base na ciência
Para saber mais
Why Most Published Research Findings Are False
pubmedcentral.nih.gov/articlerender.
Nenhum comentário:
Postar um comentário