O que a covid-19 tem ensinado (e implicado) às previsões

Os desafios em torno da modelagem preditiva da doença. Modelos e IA postos em xeque por estudos. Alguns alentos. Várias lições sobre limitações e incerteza

Quando o vírus da covid-19 se alastrou além das fronteiras chinesas e chegou ao Ocidente, em março de 2020, profissionais e amadores na lida com dados se lançaram na construção de análises, visualizações e, principalmente, modelos preditivos, na tentativa entender a nova doença e como ela nos impactaria.

Entre quem se arriscou na tarefa estavam desde epidemiologistas experientes, de grandes institutos de pesquisa, a médicos vivendo dias de caos em UTIs lotadas, até analistas do mercado, que, confinados ao isolamento, encontraram nas projeções de séries temporais uma forma de se sentirem úteis ou de passar o tempo.

O fenômeno lançou na web uma infinidade de produtos e conteúdos analíticos sobre a covid. Por alguns momentos, naquele período, mais movidos a viés de confiança ou a instinto de sobrevivência mesmo, vagamos, pretensamente baseados em dados, entre a esperança de que doença não passasse de uma gripe comum ao terror de que pudesse nos extinguir a curto prazo.

Um ano e meio depois, mais conscientes e adaptados — o que não apaga as feridas que carregamos por perdas de pessoas próximas e outras consequências, à saúde, à situação econômica, social, política etc. —, conseguimos emergir e observar com mais clareza todo esse esforço, principalmente o de prever o comportamento da doença.

Certamente, houve avanços. Principalmente na crítica e revisão do que tem sido feito e em uma visão mais realista da doença, do ponto de vista epidemiológico. Porém, mesmo com muito mais fontes de dados à disposição, comunicação em tempo real, ferramentas analíticas e modelos preditivos que nos brilham aos olhos, nos perguntamos por que ainda falhamos nas previsões.

Este artigo comenta alguns desses fracassos e as lições que ficam para a Ciência de Dados. Também repassa alguns exemplos positivos. Em algum sentido, o texto ilustra (é umcasoprático, digamos) um artigo de maio, em que tratamos do nosso fascínio em prever o futuro, e o texto anterior, no qual falamos de implicações na modelagem científica.


Uma das constatações incisivas sobre problemas com modelos preditivos para a covid-19 vem de um estudo intitulado Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal (“Modelos de previsão para diagnóstico e prognóstico de covid-19: revisão sistemática e avaliação crítica”), publicado e atualizado ao longo de 2020 no British Medical Journal (BMJ).

De uma varredura de mais de 37 mil títulos de artigos científicos, pesquisadores liderados por Laure Wynants, da Bélgica, chegaram a 169 artigos que faziam referência a 232 modelos. A conclusão: apenas dois modelos, um de diagnóstico (diz o que aconteceu ou está acontecendo) e um de prognóstico (projeta o que pode acontecer), apresentavam qualidade e foram recomendados para validação com mais dados, sendo que todos os demais tinham limitações.

“[...] esses modelos estão todos em alto ou pouco claro risco de viés, principalmente por causa do ajuste excessivo do modelo, avaliação inadequada do modelo (por exemplo, calibração ignorada), uso de fontes de dados inadequadas e relatórios pouco claros. Portanto, suas estimativas de desempenho são provavelmente otimistas e não representativas para a população-alvo. O grupo COVID-PRECISE não recomenda nenhum dos modelos de predição atuais para ser usado na prática [...] Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal.

Dos 232 modelos analisados, a maioria (107) destinava-se a prever, entre outros, risco de mortalidade ou progressão da doença para casos graves. Outros 75 eram modelos de diagnóstico baseados em imagens médicas (por exemplo, raio-x). Além destes, 33 eram modelos para detectar covid, 10 para classificação de gravidade e sete para identificar perfis de risco na população.

Obviamente, muitos dos modelos analisados eram médicos e epidemiológicos e foram construídos às pressas e evoluídos conforme a possibilidade (mais dados disponíveis, mais conhecimento sobre a doença), no meio do caos que vivemos durante as ondas de covid até o momento. Alguns, provavelmente, foram “o melhor possível”, dadas as circunstâncias.

Entretanto, chama atenção, conforme o próprio estudo destaca, o fato de muitos modelos não terem relatórios claros, apresentarem viés ou serem mal calibrados, o que pode trazer consequências danosas à medicina. Transpostos para qualquer área, são preocupações evidentes da Ciência de Dados. 

“[...] predições não confiáveis ​​podem causar mais danos do que benefícios na orientação de decisões clínicas. Os autores do modelo de previsão devem aderir à diretriz de relatório TRIPOD (relatório transparente de modelo de previsão multivariável para prognóstico ou diagnóstico individual). Finalmente, o compartilhamento de dados e experiência para a validação e atualização de modelos de previsão relacionados a covid-19 é urgentemente necessário.”Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal.

Relatar a construção e o funcionamento dos modelos é um dos requisitos para a revisão e validação de resultados por terceiros, bem como para sua utilização, se for recomendada. As características de “caixa-preta” atribuída a modelos preditivos e a baixa replicabilidade de experimentos é uma das maiores críticas que a Ciência de Dados e o uso de Big Data vem enfrentando há algum tempo onde o rigor científico é mais necessário.

Viés mencionado trata-se do viés estatístico ou sistemático (não confundir com viés cognitivo). É algo como dar um peso ou importância diferentes ao escolher indivíduos dentro da amostra de um estudo, para ficar em um exemplo simples. Também pode ocorrer por causa de problemas desde a(s) pergunta(s) que o estudo busca responder até a interpretação dos resultados.

A calibração dos modelos tem a ver com o que eles predizem e com o que ocorre na prática. Depende dos parâmetros e dos dados utilizados, como, no caso da covid, sinais vitais, idade, comorbidades, sexo, entre tantos outros. Como dados da doença vieram de várias fontes diferentes (países e sistemas de saúde diversos, por exemplo), com divergências de classificação e, em alguns casos, questionáveis quanto à qualidade, tudo isso influenciou na precisão das previsões.

“[...] a urgência de modelos de diagnóstico e prognóstico para auxiliar na triagem rápida e eficiente de pacientes na pandemia covid-19 pode encorajar os médicos e legisladores a implementar prematuramente modelos de previsão sem documentação e validação suficientes. Estudos anteriores mostraram que os modelos eram de uso limitado no contexto de uma pandemia e poderiam até causar mais danos do que benefícios. 

“O atual excesso de oferta de modelos insuficientemente validados não é útil para a prática clínica. [...] Estudos futuros devem se concentrar em validar, comparar, melhorar e atualizar modelos de previsão disponíveis promissores.”Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal.


Outra constatação pouco animadora, neste caso para o Deep Learning, mais especificamente no reconhecimento de imagens, veio de um estudo intitulado Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans (“Armadilhas comuns e recomendações para usar o aprendizado de máquina para detectar e prognosticar para COVID-19 usando radiografias de tórax e tomografias computadorizadas”), publicado na Nature, em março de 2021.

O estudo, de Derek Driggs e colegas, da Universidade de Cambridge, analisou outros artigos científicos que relatam o uso de métodos de aprendizado de máquina de reconhecimento de imagens de raio-x e tomografia de tórax para “detecção rápida e precisa” de covid-19 em pacientes. Foram listados 2.212 estudos, filtrados até uma amostra de 62 para revisão sistemática. Conclusão: 

“Nossa revisão concluiu que nenhum dos modelos identificados é de uso clínico potencial devido a falhas metodológicas e/ou vieses subjacentes. Este é um grande ponto fraco, dada a urgência com que os modelos COVID-19 validados são necessários.”Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans.

Mesmo assim, novamente, a urgência fez com que hospitais de todo o mundo, às voltas com UTIs lotadas, falta de respiradores e pacientes morrendo às dezenas e até centenas diariamente, acabassem adotando quaisquer ferramentas que trouxessem a promessa de aliviar o sofrimento. Fornecedores de soluções de análises de imagens médicas certamente encontraram um mercado lucrativo na situação.

Os apontamentos do estudo são típicos de muitas tarefas da Ciência de Dados, que podem ser facilmente transpostos, aqui, da área da saúde para quaisquer áreas de negócios:

  1. viés decorrente de pequenos conjuntos de dados utilizados no treinamento dos modelos de reconhecimento de imagens;

  2. variabilidade de grandes conjuntos de dados de origem internacional (pouca padronização, o que não ajuda);

  3. fraca integração de dados (juntar e organizá-los de forma padronizada para análise);

  4. dificuldade da tarefa de prognóstico (previsão);

  5. necessidade de médicos e analistas de dados trabalharem lado a lado para garantir que os algoritmos de IA desenvolvidos sejam clinicamente relevantes e implementáveis no atendimento clínico de rotina.

Chama atenção o último ponto, a necessidade de especialistas de negócio (médicos, neste caso) trabalharem conjuntamente com profissionais de dados. Parece algo óbvio, mas ainda é comum ver ambos trabalharem distantes, sem iterar sobre os modelos e compartilharem informações tanto do lado analítico quanto das vivências práticas. 

A questão dos conjuntos de dados de treinamento também é um aspecto interessante. Temos toneladas de fotos de gatos limpas e organizadas para treinar algoritmos capazes de reconhecê-los em fotos. Já raios-x de pulmões… Provavelmente, o problema se estende a muitas outras áreas médicas e a várias outras tão críticas quanto. Por mais que haja imagens em quantidade, estão dispersas em bases diferentes e com critérios diferentes.

Entre os algoritmos analisados, teve de tudo: desde ML tradicional, como regressões e random forest, até Deep Learning, com redes generativas adversárias (GANs, do inglês), aquelas mesmas que geram deep fakes — vimos um pouco sobre isto em Dados sintéticos: por que vamos ouvir falar cada vez mais sobre eles

“Muitos estudos são prejudicados por problemas com dados de baixa qualidade, má aplicação da metodologia de aprendizado de máquina, reprodutibilidade pobre e vieses no desenho do estudo. [...]

“As limitações da literatura atual refletem com mais frequência uma limitação do conjunto de dados usado no modelo ou erros metodológicos repetidos em muitos estudos que provavelmente levam a avaliações de desempenho excessivamente otimistas.”

Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans.


Os casos citados acima são apenas de dois estudos. Há muito mais abordagens revisionistas e críticas referentes a modelos preditivos e a áreas de dados relacionados à Covid. Entretanto, como tanto sociedade, mídia e governos precisavam de dados e ferramentas, para realmente prevenir ou para validar crenças, naturalmente alguns ganharam ares de mais “verdadeiros” ou “oficiais” que outros.

No início da pandemia, para refrescarmos a memória, dois grandes institutos de previsões erraram feio nos prognósticos de mortes para os EUA, fazendo políticos e seguidores de diversas bandeiras embarcarem em declarações e confirmações precipitadas. 

Enquanto um modelo do Imperial College, do Reino Unido, previa até 2,2 milhões de mortes nos EUA até meados do ano passado, outro do Institute for Health Metrics and Evaluation (IHME), da Universidade de Washington, em Seattle, com um orçamento milionário para pesquisas, previa 60 mil mortes no mesmo período. O que ocorreu, na realidade, foram 160 mil mortes.

Como analisa um artigo do Medscape, um portal de conteúdo e educação médica, erramos previsões após previsões:

  • no início de 2020, dizíamos que não havia necessidade de pânico com a Covid e que a gripe era pior; em 2021, sabemos que é muito pior do que a gripe;

  • primeiro, concluímos que as máscaras não eram necessárias para, depois, recomendarmos até o uso de duas máscaras;

  • dissemos que a propagação assintomática era rara, quando descobrimos, depois, que 40% dos novos casos vêm de pessoas sem sintomas;

  • não achávamos que o vírus permanecia no ar por muito tempo; hoje, tomamos uma série de cuidados com a ventilação de locais;

  • acreditávamos que os vírus atingiam principalmente os mais velhos; hoje, jovens seguem internados e morrendo da mesma forma.

Outro artigo, do International Institute of Forecasters (IFF), embora de meados de 2020, vai mais além e lista exemplos e considerações sobre as falhas de previsões, muitos deles noticiados em grandes veículos, como New York Times e Forbes. Também cita erros com previsões relacionadas a epidemias anteriores.

“A falha na previsão de epidemias é um problema antigo. Na verdade, é surpreendente que a previsão da epidemia tenha mantido muita credibilidade entre os tomadores de decisão, devido ao seu histórico duvidoso. A modelagem para a gripe suína previu 3.100-65.000 mortes no Reino Unido. Eventualmente, apenas 457 mortes ocorreram. A previsão para a febre aftosa esperava até 150.000 mortes no Reino Unido e levou ao abate de milhões de animais. No entanto, o limite inferior da previsão foi tão baixo quanto 50 mortes, um número próximo às mortes eventuais. As previsões podem funcionar em comunidades isoladas ‘ideais’ com populações homogêneas, não no complexo mundo global atual.” — IFF, em Forecasting for COVID-19 has failed.

Teve até pesquisa, da Universidade de Cambridge, que comparou previsões da covid de leigos com as de especialistas. “Os especialistas exibiram maior precisão e calibração do que os leigos [...] Mesmo assim, os especialistas subestimaram substancialmente a extensão final da pandemia [...], sugerindo que [...] deveriam considerar a ampliação da gama de cenários que consideram plausíveis”.

Outro estudo, da Universidade de Indiana, quis saber como as pessoas estavam compartilhando visualizações e previsões da covid no Twitter e reagindo a elas, algo interessante em tempos de fake news e descrédito à Ciência (de algum modo, alimentado pelas próprias divergências preditivas).

Share

A questão das previsões segue sendo ajustada e com polêmicas, mesmo nos grandes institutos. Enquanto o Centers for Disease Control and Prevention (CDC), a “ANVISA” dos EUA, projetava, em maio, até 600 mil mortes no país até setembro, o IHME — que no ano passado previa números abaixo da realidade — projeta 900 mil mortes no mesmo período.

O IHME, por causa de suas projeções, adotadas pela Casa Branca, foi bastante criticado em 2020. De qualquer forma, seus modelos passaram por revisões ao longo da pandemia e o site “COVID-19 Projections” é uma fonte de informações e projeções bastante utilizada. Os gráficos são bons exemplos de visualização de projeções de diferentes cenários (o site trabalha com “pior”, “projetado” e cenário com “uso de máscaras”, algo como um “melhor”, para comparativos). 

O FiveThirtyEight, blog criado pelo estatístico Nate Silver, especializado em previsões políticas e esportivas (que fez fama na eleição de Obama em 2008), incorporou previsões de outras fontes, explicando as divergências que modelos podem conter, o que não os invalida de todo. 

Porém, o site deixou de atualizar as projeções depois de maio e não conta com um modelo próprio para prever a covid — por saber das dificuldades, certamente —, apesar da insistência de seu público.


Curiosamente, enquanto enquanto grandes institutos forneciam previsões questionáveis a governos e à mídia e enquanto muitas tentativas de contribuições sérias à Ciência, como vimos nos casos dos modelos preditivos e dos raio-x, também falharam, um alento veio de um cientista de dados da área financeira. Não foi perfeito, é claro, mas contribuiu com o debate.

Assim como um dos muitos profissionais presos em casa por causa do isolamento, o chinês que cresceu nos EUA Youyang Gu, então com 26 anos (em 2020), formado em Engenharia Elétrica e Ciência da Computação no MIT, logrou fama ao construir um modelo preditivo simples e que acertou com boa precisão as projeções de mortes dos EUA até novembro do ano passado, quando parou a empreitada.

Basicamente, ele usou o que muitos econometristas usam: projeções sobre dados passados. Fugindo da complexidade, ele decidiu se concentrar no número de mortes anteriores para prever o que aconteceria em seguida, uma forma de filtrar ruídos dos muitos dados possíveis usados em outras previsões.

O modelo previu, por exemplo, 80 mil mortes até 9 de maio de 2020 nos EUA. O número real foi de 79.926, muito próximo. Depois, a previsão foi de 90 mil até 18 de maio e 100 mil até 27 de maio, acertando novamente. No decorrer da pandemia, ele foi ajustando o modelo para previsões mais precisas, conforme lockdowns e liberações ocorriam ou a vacinação se aproximava.

Atualmente, o cientista de dados voltou às análises da Covid. Seu site continua trazendo dados para os EUA e documenta toda a metodologia. A documentação, aliás, é um ponto forte. É simples e bastante transparente sobre os dados e métodos usados. Há muitos insights no site.

Share Awari Insights - Dados e Tecnologia

Embora Gu tenha sido chamado para colaborar com órgãos governamentais e seu modelo tenha sido elogiado e servido de referência, o CDC (a “ANVISA” dos EUA, como já dissemos) passou a utilizar, desde o fim do ano passado, um conjunto de diversas modelagens para prever mortes.

Conforme atualização de 18 de agosto de 2021, as previsões para as quatro semanas seguintes vêm de “26 grupos de modelagem”, prevendo um total de 638 mil a 664 mil mortes até 11 de setembro. 

A abordagem é interessante porque é mais democrática, com diferentes fontes de dados e metodologias, e, também, mais honesta, cientificamente falando. Em vez de se assumir uma única fonte de verdade, difícil no caso da covid, melhor deixar disponíveis (e explicadas) diversas fontes e projeções.

Olhando um pouco mais o lado positivo, não poderíamos deixar de citar a John Hopkins University, que agrega dados de vários países, utilizados para muitas projeções mundo afora (é a fonte da visualização que aparece na busca do Google, por exemplo), e que traz um dashboard famoso dos dados já consolidados, o que permite comparar previsões feitas com o que realmente aconteceu.


É claro que os estudos e casos citados são apenas recortes da miríade de projeções, estudos sobre projeções e críticas que a covid tem gerado e continuará gerando. Como toda produção acadêmica e científica, eles podem ser refutados, e é saudável e necessário que isso seja feito. A própria democratização da pesquisa adiciona ruído à questão, o que é do jogo.

De outro modo, também se poderia enquadrar um artigo com os “casos promissores”, desde soluções de deep learning para reconhecimento de imagens médicas (muitas) até modelos que divulgam grande precisão na previsão de mortalidade — a dificuldade é separar o joio do trigo, é claro. 

Como, porém, os erros são grandes professores, a partir dos quais a Ciência corrige seu curso, relatos de soluções problemáticas são mais interessantes para captarmos nuances do que exemplos únicos positivos. Isto nos leva ao que, de fato, tiramos destes casos todos: as lições.

Share

Algumas das lições mais interessantes vêm do Alan Turing Institute, no Reino Unido. Em novembro de 2020, a organização promoveu uma conferência online chamada “IA e Ciência de Dados na Era da Covid-19”, que reuniu 1700 cientistas de dados e especialistas de IA de 35 países.

Três grandes pilares foram apontados por palestrantes e participantes como aprendizados para lidar com a própria covid, com eventuais futuras pandemias e com a Ciência, de forma geral: dados, igualdade e comunicação. 

Embora as contribuições foquem bastante o panorama do Reino Unido, onde questões como ética e privacidade de dados e a disponibilização de dados públicos estão bem mais avançadas do que em outros países, servem para comunidades de Data Science e IA de todo o mundo.

Em relação ao pilar dados, a reivindicação clara é de que os dados sejam de qualidade, padronizados e documentados — algo básico, mas de difícil realização, ainda mais em se tratando de dados públicos. Sugestões captadas na conferência indicam como isto pode ser feito:

  • dados compartilhados tão abertamente quanto for possível, observadas questões éticas e legais, por meio de repositórios centrais (data lakes), e devidamente documentados;

  • repositórios devem apontar tanto para dados abertos como para dados não abertos, mas com protocolos para acesso seguro a tais dados;

  • estudar melhores formas de conceder acesso a dados pessoais sensíveis (caso de dados médicos e hospitalares);

  • automatizar tarefas de coleta de dados na rede de saúde e outras entidades, minimizando registros manuais (o que, normalmente, leva à má qualidade dos dados);

  • incentivar acordos de compartilhamento de dados.

O pilar da igualdade é tão ou mais importante. É interessante que ele tenha sido levantado, porque às vezes profissionais estão tão envolvidos com aprendizado e técnicas que esquecem fatores difíceis de racionalizar do mundo real, como questões sociais. Sugestões também detalham o que pode ser feito:

  • priorizar o entendimento da covid em diferentes etnias e grupos sociais, para somá-los às abordagens de idade, condição de saúde etc. já acompanhados;

  • abordar deficiências nas fontes dos dados, algo que é ausente ou incompleto;

  • desenvolver protocolos para coletas de dados pessoais sensíveis e monitorar o uso desses dados em estudos e ensaios clínicos;

  • desenvolver protocolos para geração de dados anônimos e sintéticos de pacientes, de modo que incluam informações demográficas.

Nota-se um forte cuidado com dados pessoais sensíveis e na caracterização de grupos e etnias.

No pilar da comunicação, a mensagem básica é de transparência e clareza na comunicação científica com o público geral, particularmente questões de modelagem e incerteza, a fim de minimizar a desinformação (fake news, teorias da conspiração e descrédito na Ciência, por exemplo). Sugestões detalhadas foram:

  • fornecer informações claras, simplificadas e acessíveis a não especialistas sobre as descobertas e previsões de estudos, bem como sobre os dados usados, qualidade desses dados, processos computacionais etc.;

  • comunicar-se com transparência sobre a limitações dos estudos, como incerteza nos modelos/previsões e potenciais vieses nos dados;

  • conquistar a confiança do público abordando preocupações

  • relacionadas à segurança de dados, privacidade e confidencialidade, e comunicando como os dados e modelos estão informando políticas públicas;

  • exercer um papel mais pró-ativo na luta contra desinformação, por exemplo, sobre testes, rastreamento de contato e vacinas; também, fornecer dados completos e não propensos a má interpretação;

  • treinar pesquisadores sobre como se comunicar com o público em geral e a mídia, especialmente sobre o uso de modelos em tomadas de decisões e previsões.

Os pontos acima e outras reflexões e contribuições estão detalhados no documento Data science and AI in the age of COVID-19(“Ciência de Dados e IA na era da COVID-19”). 

O documento destaca, de forma pertinente, que esta “[é] a primeira pandemia que ocorre na idade de ciência de dados e IA: a primeira pandemia em um mundo de aprendizagem profunda, computação ubíqua, smartphones, tecnologia vestível e social meios de comunicação” e que “[a] ciência de dados [...] e a comunidade de IA desempenhou um papel fundamental nesse esforço científico”.

Share Awari Insights - Dados e Tecnologia

O artigo do International Institute of Forecasters (IIF) diz que “os modelos falharam quando usaram mais especulações e suposições teóricas e tentaram prever resultados de longo prazo” e listou razões que podem levar a falhas preditivas e sugestões para corrigi-los. Algumas das sugestões que se destacam são:

  • investimento na coleta, limpeza e curadoria de dados usados em modelos preditivos (no caso, epidemiológicos);

  • construir modelos preditivos que permitam suposições mais realistas, quantificar incerteza e reajustar continuamente os modelos com base nas evidências acumuladas;

  • transparência total sobre os métodos e o compartilhamento de código e dados dos modelos;

  • usar ferramentas e auditoria de software para minimizar ou evitar erros nos modelos;

  • buscar a interdisciplinaridade: combinar várias fontes de dados e especialistas de diversas áreas;

  • ter modeladores experientes no assunto;

  • manter uma abordagem de mente aberta (honesta, humilde, cética, científica), a fim de minimizar a subjetividade e excesso de confiança.

O cientista de dados Youyang Gu, que ficou famoso por suas previsões, também elencou dicas à MIT Technology Review que vão ao encontro de pontos acima:

  • concentrar-se nos fundamentos (no caso prático dele, prever mortes futuras apenas com base em mortes passadas, evitar ruído);

  • minimizar suposições (estar ciente de nossos preconceitos e ajustar nossas crenças à medida que novos dados as refutarem);

  • formular hipóteses testáveis;

  • aprender com os erros;

  • envolver os críticos (debater com quem tem constatações ou pensa diferente, para saber até onde se está correto ou se deve fazer ajustes);

  • exercitar o ceticismo saudável.

É interessante notar que, nos dois casos acima, de Gu e do IIF, são mencionadas questões que dizem respeito à subjetividade de cientistas de dados e pesquisadores, isto é, às suas crenças, à honestidade, à capacidade de reconhecer erros e de lidar com as limitações de seus modelos.

A questão de conhecer as limitações dos modelos é fundamental para os autores de outro artigo, muito esclarecedor e rico sobre estatísticas aplicadas à covid, publicado no ano passado no The New England Journal of Medicine

O artigo explica, por exemplo, as limitações dos modelos previsores do IHME, que falharam no começo de 2020 ao prever o comportamento da covid nos EUA. Fala das dificuldades inerentes em se adquirir dados confiáveis em uma pandemia, de parâmetros mal compreendidos sobre a doença, em especial a “extensão da imunidade supressora” (por quanto tempo ficamos imunes após adquirir a doença ou, na situação atual, após sermos vacinados), a transmissão assintomática e taxas de contato entre as pessoas.

Não são, realmente, dados como os de mercado (compras, cliques, engajamento etc.), muito mais disponíveis. Carregam muito mais incerteza, suposições e nuances traiçoeiras para a modelagem e a compreensão. Mesmo assim, reforça o artigo, os modelos são uma ferramenta epistemológica para entendermos a doença e a realidade, algo que seria muito mais difícil apenas com base na intuição.

“Ao contrário de outros esforços científicos, nos quais os pesquisadores refinam continuamente os métodos e tentam coletivamente abordar uma verdade sobre o mundo, os modelos epidemiológicos são frequentemente projetados para nos ajudar a examinar sistematicamente as implicações de várias suposições sobre um processo altamente não linear que é difícil de prever usando apenas a intuição. Os modelos são limitados pelo que sabemos e pelo que presumimos, mas usados ​​de forma adequada e com uma compreensão dessas limitações, eles podem e devem ajudar a nos guiar durante esta pandemia.”— Wrong but Useful - What Covid-19 Epidemiologic Models Can and Cannot Tell Us.

Por fim, uma abordagem de três autoras no FiveThirtyEight, intitulado Why It’s So Freaking Hard To Make A Good COVID-19 Model (“Por que é tão difícil fazer um bom modelo COVID-19”), pega todas essas dificuldades e discorre sobre elas de forma bastante didática. A mensagem central está toda em “compreender a incerteza” que nos rodeia.

“O número de pessoas que morrerão depende de quantas pessoas podem ser infectadas, como o vírus se espalha e quantas pessoas o vírus é capaz de matar. [...]

“Viu? Fácil. Mas então você começa a tentar preencher os espaços em branco. É quando você descobre que não há um único número para conectar em... nada. Cada variável depende de uma série de escolhas e lacunas de conhecimento.”

Why It’s So Freaking Hard To Make A Good COVID-19 Model.

Os esquemas gráficos utilizados no artigo ajudam a compreender como a quantidade de variáveis aumenta à medida que tentamos adicionar mais precisão ao modelo. Começa-se com taxa de infecção, fatalidade e população suscetível. Pouco depois, já se está considerando pessoas recuperadas, vacinados, idade, imunidade, tratamentos. Por outro lado, somam-se pessoas testadas, capacidade hospitalar, ventiladores disponíveis… Mais um pouco e temos também complicadores espaciais e temporais: localização, taxa de isolamento ou reabertura, taxa de distanciamento e contato entre pessoas. Mais: biologia do próprio vírus, mutações, como ele se comporta no ambiente...

“E todos esses fatores podem ser afetados por todas as intervenções que tentamos reduzir a propagação do vírus distanciamento social, lavagem das mãos, fechamento de escolas, redução de cirurgias eletivas e assim por diante. [...]”Why It’s So Freaking Hard To Make A Good COVID-19 Model.

Didaticamente, segundo as autoras, é como uma receita de torta, mas em que os ingredientes e quantidades deles podem variar de forma severa. É dinâmico. “Se você tem uma receita normal, pode fazê-la com bastante facilidade e esperar um resultado previsível [...]. Mas se a receita contiver instruções como ‘adicione de três a 15 maçãs picadas, ou bifes, ou couve de Bruxelas, dependendo do que você tiver em mãos’... bem, isso vai afetar o sabor da torta, não é?”

“Nos próximos meses [o artigo é do início da pandemia], você verá muitas previsões diferentes sobre os resultados do COVID-19. Eles não vão concordar. Mas só porque eles são baseados em suposições, não significa que eles sejam inúteis.”

“‘Todos os modelos estão errados, é um esforço para torná-los menos errados e úteis no momento’ [...]

“Estamos com fome, então alguém precisa fazer tortas. Mas certifique-se de perguntar quais ingredientes foram incluídos e em que quantidades.”

 — Why It’s So Freaking Hard To Make A Good COVID-19 Model.

Como se vê, há muito o que a pandemia de Covid tem a ensinar à modelagem preditiva e à Ciência de Dados em geral. Provavelmente, em linha com o que destacou o Alan Turing Institute, a Ciência de Dados também ajudará a entender a própria pandemia, legando aprendizados para epidemias futuras. 

É uma ferramenta-chave nos meios epidemiológicos, médicos e de saúde em geral. Muitas das limitações estão na matéria-prima das predições (dados) e na forma de construirmos e interpretarmos modelos (nossa sempre rica e complicada subjetividade, como pesquisadores e analistas).

Daqui a um tempo, certamente, teremos muito mais aprendizados para anotar e a História fará um trabalho melhor sobre o que deu certo e o que deu errado. E isto é só um recorte, específico e aplicado à saúde. Se formos olhar os impactos da covid na economia e nos negócios, teremos mais uma gama de aprendizados substanciais — uma deixa para um possível futuro artigo.

Leave a comment

Artigo escrito por Rogério Kreidlow, jornalista, que gosta de observar a tecnologia em relação a temas amplos, como política, economia, história e filosofia.