Interpretabilidade em modelos preditivos – discussões iniciais na área da saúde
Com o aumento da capacidade de armazenamento e processamento de dados, sua exploração e análise exigem não apenas métodos estatísticos, mas também técnicas computacionais. A área de Machine Learning (ML - Aprendizado com Máquina ou Automático) é um resultado dessa interação entre a Estatística e a Computação, utilizando modelos estatísticos combinados com algoritmos computacionais para extrair informação de conjuntos de dados com muitas observações e/ou variáveis. ML pode ser supervisionado ou não supervisionado e consideramos aqui ML supervisionado, o qual engloba modelos para estudar o valor de uma variável resposta (output ou desfecho) a partir de variáveis preditoras (input, variáveis explicativas ou covariáveis).
Em ML supervisionado, uma distinção entre modelo explicativo (alguns autores chamam de modelo inferencial) e modelo preditivo precisa ser feita. Quando o objetivo está na interpretação dos parâmetros envolvidos do modelo e testar hipóteses para entender a relação entre as covariáveis e a variável resposta, um modelo com o intuito explicativo é ajustado. Já no modelo preditivo, o foco está na construção de um modelo (regra) para predizer novas observações.
Historicamente, modelos com o intuito explicativo são amplamente utilizados na área da saúde para entender, por exemplo, que a exposição a um dado fator tem tantas vezes mais chance de ter o desfecho de interesse e que essa relação é significativa do ponto de vista estatístico e clínico. Um exemplo na área da medicina obstétrica foi um estudo realizado com o objetivo de avaliar se o uso de progesterona comercial em gestantes com colo curto diminui o risco de prematuridade (parto ocorrer antes de 37 semanas gestacionais). Como resultado de um ensaio clínico randomizado, duplo-cego, controlado por placebo, observou-se que a chance de prematuridade é diminuída em 60% com o uso da progesterona e esse resultado foi estatisticamente importante e clinicamente relevante1. Além desse estudo realizado no Brasil, outros pesquisadores replicaram o mesmo estudo em outras partes do mundo e obtiveram resultados reprodutíveis (que chegaram a mesma conclusão) e uma metanálise (análise combinada de todos os estudos)2 também foi realizada, concluindo que há indícios favoráveis ao uso de progesterona comercial em gestações com colo curto. Com base nas evidências científicas apresentadas, virou então protocolo obstétrico o uso de progesterona comercial em gestantes identificadas com colo curto para diminuir o risco de parto precoce.
Nos últimos anos, tem surgido o interesse em também realizar predições de desfechos na área da saúde e modelos preditivos tem sido cada vez mais utilizados. Como exemplo também na área da medicina obstétrica, desejou-se construir um modelo para predizer, no momento do diagnóstico de diabetes gestacional, se uma gestante fará uso de insulina em algum momento anterior ao parto com base em informações clínicas, exames laboratoriais, histórico obstétrico e familiar3. Assim, uma gestante com 35 anos, obesa, com histórico familiar de diabetes, também com histórico de diabetes gestacional anterior e que obteve 100mg/dL de glicemia de jejum no momento do diagnóstico da diabetes gestacional na gestação atual, tem uma probabilidade de uso de insulina estimada de 70,9%, obtida por meio do modelo construído nesse estudo. Como essa probabilidade é maior que o ponto de corte considerado, há então alta chance dessa gestante fazer o uso de insulina.
Ainda que o intuito do ajuste do modelo seja de predição, os pesquisadores também podem ter o interesse em entender as variáveis escolhidas no modelo e discutir a influência delas na tomada de decisões obtidas pelo modelo preditivo. Há modelos estatísticos que podem ser considerados tanto com o intuito preditivo quanto inferencial, uma vez que seus parâmetros podem ser interpretados naturalmente, o que chamamos de modelos explicáveis. O modelo de regressão logística é um exemplo de modelo explicável, em que o exponencial de um parâmetro é a razão de chances. No exemplo das pacientes com diabetes gestacional, foi ajustado um modelo de regressão logística para o uso de insulina (sim ou não), em que a variável indicadora de diabetes gestacional anterior foi selecionada para esse modelo preditivo. Por usar um modelo explicável, foi possível verificar, por exemplo, que ter diabetes em uma gestação anterior aumenta em 2,8 vezes a chance de fazer uso de insulina (2,8=exp(1,03), em que 1,03 é a estimativa do parâmetro associado ao indicador de diabetes gestacional prévia).
Mesmo nos casos de utilização de modelos explicáveis, é importante decidir qual o intuito do ajuste do modelo, uma vez que o processo de modelagem é diferente a depender da intenção. Quando o intuito é inferencial, as escolhas feitas durante o processo de modelagem são pautadas em medidas que avaliam a relação de explicação entre as variáveis. Já com o objetivo de predição, as escolhas no processo de modelagem são guiadas por medidas de desempenho preditivo, como a acurácia (capacidade em acertar uma predição ou errar dentro de um limiar aceitável).
É comum se deparar com aplicações em que as escolhas realizadas foram pautadas com o intuito preditivo e o pesquisador interpreta os parâmetros resultantes, e também o contrário: ajustado um modelo explicativo que é também usado para predição. No entanto, isso pode não ser uma boa estratégia. No primeiro cenário, pode acontecer de ter uma variável no modelo que aumenta o seu poder preditivo, mas não fazer nenhum sentido inferencial e, no segundo cenário, o modelo resultante utilizado para predição não é aquele que apresenta o maior poder preditivo dentre todos possíveis em uma classe de modelos preditivos.
Quando o objetivo for a predição, dentre os modelos possíveis, há aqueles explicáveis, já discutidos anteriormente, e os modelos não explicáveis, como os modelos caixa-preta (algoritmos cujo funcionamento interno não pode ser facilmente explicado). Assim, o modelo escolhido é aquele com melhor desempenho preditivo e esse “melhor” pode ser um modelo não explicável. Contudo, conhecer o porquê do desfecho pode ajudar a entender mais sobre o problema, sobre os dados e em quais situações esse modelo não é razoável. Para facilitar então o aprendizado e satisfazer a curiosidade sobre o motivo de certas previsões ou comportamentos, a interpretabilidade e as explicações das decisões são cruciais; e métodos de interpretabilidade podem ser aplicados a qualquer modelo preditivo previamente ajustado.
Um desses métodos é o SHAP (SHapley Additive exPlanations), que estuda o impacto das covariáveis na saída do modelo, usando todas as combinações possíveis de presença e ausência das covariáveis, e explica individualmente as decisões do modelo4. O novo score de crédito da Serasa (pontuação de pessoa física que quantifica a sua propensão de ser uma boa pagadora), por exemplo, apresenta um campo que explica os fatores que aumentam e diminuem a pontuação obtida pela pessoa física (PF), algo não existente no escore de crédito anterior da empresa e essa explicação individual (para cada PF) é obtida por algum método de interpretabilidade, possivelmente o SHAP5.
Em outras palavras, mesmo que em um primeiro momento o objetivo do modelo seja preditivo, há também a importância em se explicar as decisões baseadas no modelo ajustado. É mais fácil para as pessoas confiarem em um sistema que explique suas decisões e então elas julgarem se estas foram baseadas em um viés demográfico aprendido (por exemplo, racial), possibilitando também testar se pequenas alterações nas covariáveis levam a grandes alterações na previsão.
Esse texto é o primeiro em uma série de outros que serão publicados nesse blog sobre interpretabilidade de modelos preditivos. O estudo de métodos de interpretabilidade em aplicação de modelos preditivos na área da saúde é objeto de estudo do projeto de Iniciação Científica da aluna Ornella Scardua e, conforme resultados e conclusões forem sendo alcançados, estes serão divulgados nesse Blog.
Referências e sugestões de leitura
[1] da Fonseca, E. B., Bittar, R. E., Carvalho, M. H., & Zugaib, M. (2003). Prophylactic administration of progesterone by vaginal suppository to reduce the incidence of spontaneous preterm birth in women at increased risk: a randomized placebo-controlled double-blind study. American journal of obstetrics and gynecology, 188(2), 419-424.
[2] Romero, R., Nicolaides, K., Conde-Agudelo, A., Tabor, A., O’Brien, J. M., Cetingoz, E., … & Soma-Pillay, P. (2012). Vaginal progesterone in women with an asymptomatic sonographic short cervix in the midtrimester decreases preterm delivery and neonatal morbidity: a systematic review and metaanalysis of individual patient data. American journal of obstetrics and gynecology, 206(2), 124-e1.
[3] Souza, A. C., Costa, R. A., Paganoti, C. F., Rodrigues, A. S., Zugaib, M., Hadar, E., Moshe, H. & Francisco, R. P. (2019). Can we stratify the risk for insulin need in women diagnosed early with gestational diabetes by fasting blood glucose?. The Journal of Maternal-Fetal & Neonatal Medicine, 32(12), 2036-2041.
[4] Molnar, C. (2020). Interpretable machine learning. Acesso em https://christophm.github.io/interpretable-ml-book/.
[5] Serasa Score pode ser acessado em https://www.serasa.com.br/score/.
Agradecimentos
Agradecimentos a Ornella Scardua, Bruno Santos e Lucas Lacerda pela leitura crítica e sugestões de melhoria desse texto.