Pesquisadores argumentam que, em ambientes de assistência médica, rótulos de “uso responsável” podem garantir que os sistemas de IA sejam implantados adequadamente.
Os sistemas de IA estão sendo cada vez mais implantados em situações críticas de assistência médica. No entanto, esses modelos às vezes alucinam informações incorretas, fazem previsões tendenciosas ou falham por razões inesperadas, o que pode ter consequências sérias para pacientes e clínicos.
Em um artigo de comentário publicado hoje em Ciência Computacional da Natureza A professora associada do MIT, Marzyeh Ghassemi, e a professora associada da Universidade de Boston, Elaine Nsoesie, argumentam que, para mitigar esses danos potenciais, os sistemas de IA devem ser acompanhados de rótulos de uso responsável, semelhantes aos rótulos exigidos pela Food and Drug Administration dos EUA, colocados em medicamentos prescritos. conversou com Ghassemi sobre a necessidade de tais rótulos, as informações que eles deveriam transmitir e como os procedimentos de rotulagem poderiam ser implementados.
P: Por que precisamos de rótulos de uso responsável para sistemas de IA em ambientes de assistência médica?
R: Em um ambiente de saúde, temos uma situação interessante em que os médicos frequentemente confiam em tecnologia ou tratamentos que não são totalmente compreendidos. Às vezes, essa falta de entendimento é fundamental – o mecanismo por trás do paracetamol, por exemplo – mas outras vezes isso é apenas um limite de especialização. Não esperamos que os clínicos saibam como fazer a manutenção de uma máquina de ressonância magnética, por exemplo. Em vez disso, temos sistemas de certificação por meio do FDA ou de outras agências federais, que certificam o uso de um dispositivo médico ou medicamento em um ambiente específico.
Importante, dispositivos médicos também têm contratos de serviço – um técnico do fabricante consertará sua máquina de ressonância magnética se ela estiver mal calibrada. Para medicamentos aprovados, há sistemas de vigilância e relatórios pós-comercialização para que efeitos adversos ou eventos possam ser abordados, por exemplo, se muitas pessoas tomando um medicamento parecem estar desenvolvendo uma condição ou alergia.
Modelos e algoritmos, independentemente de incorporarem IA ou não, contornam muitos desses processos de aprovação e monitoramento de longo prazo, e isso é algo com que precisamos ter cuidado. Muitos estudos anteriores mostraram que modelos preditivos precisam de avaliação e monitoramento mais cuidadosos. Com IA generativa mais recente especificamente, citamos trabalhos que demonstraram que a geração não é garantida como apropriada, robusta ou imparcial. Como não temos o mesmo nível de vigilância em previsões ou geração de modelos, seria ainda mais difícil capturar as respostas problemáticas de um modelo. Os modelos generativos usados por hospitais agora podem ser tendenciosos. Ter rótulos de uso é uma maneira de garantir que os modelos não automatizem vieses aprendidos com profissionais humanos ou pontuações de suporte de decisão clínica mal calibradas do passado.
P: Seu artigo descreve vários componentes de um rótulo de uso responsável para IA, seguindo a abordagem da FDA para criar rótulos de prescrição, incluindo uso aprovado, ingredientes, possíveis efeitos colaterais, etc. Quais informações essenciais esses rótulos devem transmitir?
R: As coisas que um rótulo deve deixar óbvias são hora, local e maneira de uso pretendido de um modelo. Por exemplo, o usuário deve saber que os modelos foram treinados em um momento específico com dados de um ponto de tempo específico. Por exemplo, ele inclui dados que incluíram ou não a pandemia de Covid-19? Houve práticas de saúde muito diferentes durante a Covid que poderiam impactar os dados. É por isso que defendemos que os “ingredientes” e “estudos concluídos” do modelo sejam divulgados.
Para o local, sabemos por pesquisas anteriores que modelos treinados em um local tendem a ter pior desempenho quando movidos para outro local. Saber de onde os dados vieram e como um modelo foi otimizado dentro dessa população pode ajudar a garantir que os usuários estejam cientes de “efeitos colaterais potenciais”, quaisquer “avisos e precauções” e “reações adversas”.
Com um modelo treinado para prever um resultado, saber o horário e o local do treinamento pode ajudar você a fazer julgamentos inteligentes sobre a implantação. Mas muitos modelos generativos são incrivelmente flexíveis e podem ser usados para muitas tarefas. Aqui, o horário e o local podem não ser tão informativos, e uma direção mais explícita sobre “condições de rotulagem” e “uso aprovado” versus “uso não aprovado” entram em jogo. Se um desenvolvedor avaliou um modelo generativo para ler as notas clínicas de um paciente e gerar códigos de cobrança prospectivos, ele pode revelar que ele tem um viés para superfaturamento para condições específicas ou subreconhecimento de outras. Um usuário não gostaria de usar esse mesmo modelo generativo para decidir quem recebe um encaminhamento para um especialista, mesmo que pudesse. Essa flexibilidade é o motivo pelo qual defendemos detalhes adicionais sobre a maneira como os modelos devem ser usados.
Em geral, defendemos que você deve treinar o melhor modelo que puder, usando as ferramentas disponíveis para você. Mas mesmo assim, deve haver muita divulgação. Nenhum modelo será perfeito. Como sociedade, agora entendemos que nenhuma pílula é perfeita – sempre há algum risco. Devemos ter o mesmo entendimento de modelos de IA. Qualquer modelo – com ou sem IA – é limitado. Ele pode estar lhe dando previsões realistas e bem treinadas de futuros potenciais, mas leve isso com qualquer grão de sal que seja apropriado.
P: Se os rótulos de IA fossem implementados, quem faria a rotulagem e como os rótulos seriam regulamentados e aplicados?
R: Se você não pretende que seu modelo seja usado na prática, então as divulgações que você faria para uma publicação de pesquisa de alta qualidade são suficientes. Mas uma vez que você pretende que seu modelo seja implantado em um ambiente voltado para humanos, os desenvolvedores e implantadores devem fazer uma rotulagem inicial, com base em algumas das estruturas estabelecidas. Deve haver uma validação dessas alegações antes da implantação; em um ambiente crítico de segurança como assistência médica, muitas agências do Departamento de Saúde e Serviços Humanos podem estar envolvidas.
Para desenvolvedores de modelos, acho que saber que você precisará rotular as limitações de um sistema induz uma consideração mais cuidadosa do processo em si. Se eu sei que em algum momento terei que divulgar a população na qual um modelo foi treinado, eu não gostaria de divulgar que ele foi treinado apenas no diálogo de usuários de chatbots masculinos, por exemplo.
Pensar em coisas como sobre quem os dados foram coletados, em qual período de tempo, qual foi o tamanho da amostra e como você decidiu quais dados incluir ou excluir pode abrir sua mente para possíveis problemas na implantação.