Tomada de Decisão Automatizada

Tomada de Decisão Automatizada: o papel das revisões humanas significativas

Os sistemas de Inteligência Artificial (AI) geralmente processam dados pessoais para apoiar ou tomar uma decisão. Por exemplo, a inteligência artificial poderia ser usada para aprovar ou rejeitar um empréstimo financeiro automaticamente, ou apoiar equipes de recrutamento para identificar candidatos a entrevistas classificando os pedidos de emprego.

O Artigo 22 do Regulamento Geral de Proteção de Dados (GDPR) estabelece condições muito rigorosas em relação aos sistemas de IA que tomam decisões exclusivamente automatizadas, isto é, sem intervenção humana, com efeitos legais ou similarmente significativos sobre os indivíduos. Os sistemas de IA que apenas suportam ou melhoram a tomada de decisão humana não estão sujeitos a estas condições. No entanto, uma decisão não ficará fora do escopo do Artigo 22 apenas porque um ser humano o “carimbou”: o input humano precisa ser “significativo”.

O grau e a qualidade da revisão e intervenção humana antes que uma decisão final seja tomada sobre um indivíduo é o fator-chave para determinar se um sistema de IA é único ou não exclusivamente automatizado.

Espera-se que os membros da diretoria, os cientistas de dados, os proprietários de empresas e as funções de supervisão, entre outros, desempenhem um papel ativo para garantir que os aplicativos da IA ​​sejam projetados, construídos e usados ​​conforme o pretendido.

O significado da revisão humana em aplicativos de AI não exclusivamente automatizados e o gerenciamento dos riscos associados a ela são áreas-chave de foco para nossa estrutura de auditoria de IA proposta e o que exploraremos neste blog.

O que já foi dito?

Tanto a OIC como o Conselho Europeu para a Proteção de Dados (EDPB) já publicaram orientações relativas a essas questões. As mensagens principais são:

Os revisores humanos devem estar envolvidos na verificação da recomendação do sistema e não devem “rotineiramente” aplicar a recomendação automatizada a um indivíduo;
O envolvimento dos revisores deve ser ativo e não apenas um gesto simbólico. Eles devem ter uma influência “significativa” real sobre a decisão, incluindo a “autoridade e competência” para ir contra a recomendação; e
os revisores devem “ponderar” e “interpretar” a recomendação, considerar todos os dados de entrada disponíveis e também levar em conta outros fatores adicionais “.
Existem fatores de risco adicionais em sistemas complexos?
O significado do input humano deve ser considerado em qualquer sistema de tomada de decisão automatizado, por mais básico que seja (por exemplo, simples árvores de decisão). Em sistemas de IA mais complexos, no entanto, achamos que há dois fatores adicionais que podem fazer com que um sistema seja considerado exclusivamente automatizado. Eles são:

1. Viés de automação

2. Falta de interpretabilidade

O que queremos dizer com viés de automação?

Os modelos de IA baseiam-se em matemática e dados e, por causa disso, as pessoas tendem a considerá-los objetivos e confiam em sua produção.

Os termos viés de automação ou complacência induzida por automação descrevem como os usuários humanos confiam rotineiramente na saída gerada por um sistema de suporte à decisão do computador e param de usar seu próprio julgamento, ou param de questionar se a saída pode estar errada. Se isto acontecer quando se utiliza um sistema de IA, existe o risco de o sistema poder ser involuntariamente classificado como exclusivamente automatizado ao abrigo da lei.

O que queremos dizer com falta de interpretabilidade?

Alguns tipos de sistemas de IA, por exemplo aqueles que usam aprendizado profundo, podem ser difíceis de interpretar por um revisor humano.

Se as entradas e saídas de sistemas AI não são facilmente interpretáveis, e outras ferramentas de explicação não estão disponíveis ou são confiáveis, existe o risco de um ser humano não conseguir rever significativamente a saída de um sistema de IA.

Se revisões significativas não forem possíveis, o revisor pode começar a concordar com as recomendações do sistema sem julgamento ou contestação. Isso significaria que a decisão era “exclusivamente automatizada”.

Distinguindo apenas de sistemas de IA não automatizados
As organizações devem ter uma visão clara sobre o uso pretendido de qualquer aplicativo AI desde o início. Eles devem especificar e documentar claramente se a IA será usada para melhorar a tomada de decisões humanas ou tomar decisões exclusivamente automatizadas.

O órgão de administração deve rever e assinar o uso pretendido de qualquer sistema de IA, certificando-se de que está de acordo com o apetite de risco da organização. Isso significa que os membros do conselho precisam ter uma compreensão sólida das principais implicações de risco associadas a cada opção e estar prontos e equipados para fornecer um grau apropriado de desafio.

O órgão de gestão também é responsável por garantir linhas claras de responsabilidade e políticas efetivas de gerenciamento de riscos estabelecidas desde o início. Se os sistemas de IA forem destinados apenas a apoiar decisões humanas, essas políticas devem abordar especificamente fatores de risco adicionais, como viés de automação e falta de interpretabilidade.

É possível que as organizações não saibam com antecedência se um aplicativo de AI parcialmente ou totalmente automatizado atenderia melhor às suas necessidades. Nesses casos, as políticas de gerenciamento de riscos e as Avaliações de Impacto de Proteção de Dados (DPIAs) devem refletir isso de maneira distinta e incluir o risco e os controles de cada opção durante todo o ciclo de vida do sistema de IA.

Como você pode abordar os fatores de riscos adicionais?
Viés de automação

Você pode pensar que o viés de automação pode ser abordado principalmente melhorando a eficácia do treinamento e monitoramento de revisores humanos. O treinamento é um componente-chave do gerenciamento eficaz de riscos de IA, mas os controles para mitigar o viés de automação devem estar em vigor desde o início.

Durante os proprietários do negócio da fase de projeto e construção, os cientistas de dados e as funções de supervisão devem trabalhar juntos para desenvolver requisitos de projeto que suportem uma revisão humana significativa desde o início.

Eles devem pensar sobre quais recursos eles esperariam que o sistema de AI considerasse e quais fatores adicionais os revisores humanos deveriam levar em conta antes de finalizar sua decisão. Por exemplo, o sistema de inteligência artificial poderia considerar propriedades mensuráveis, como a experiência de quantos anos um candidato a emprego tem, enquanto um revisor humano avalia as habilidades dos candidatos que não podem ser capturadas nos formulários de inscrição.

Se os revisores humanos só puderem acessar ou usar os mesmos dados usados ​​pelo sistema de IA, então, sem dúvida, eles não levarão em conta outros fatores adicionais. Isto significa que a sua revisão pode não ser suficientemente significativa e a decisão pode acabar sendo considerada apenas automatizada no âmbito do GDPR.

Se necessário, as organizações precisam pensar em como capturar fatores adicionais. Por exemplo, fazendo com que os revisores humanos interajam diretamente com a pessoa, a decisão está prestes a coletar essas informações.

Aqueles encarregados de projetar a interface de front-end de um sistema de IA devem entender as necessidades, o processo de pensamento e os comportamentos dos revisores humanos e permitir que eles intervenham efetivamente. Portanto, pode ser útil consultar e testar opções com revisores humanos desde o início.

No entanto, os recursos que os sistemas de IA usarão também dependerão dos dados disponíveis, do tipo de modelo selecionado e de outras opções de construção do sistema. Quaisquer suposições feitas na fase de projeto precisarão ser testadas e confirmadas assim que o sistema AI for totalmente treinado e construído.

Interpretabilidade

Interpretabilidade também deve ser considerada a partir da fase de projeto.

A interpretabilidade é um desafio a ser definido em termos absolutos e pode ser medida de diferentes maneiras. Por exemplo:

O revisor humano pode prever como os resultados do sistema serão alterados se forem fornecidos inputs diferentes?
O humano pode identificar os insumos mais importantes que contribuem para uma saída específica?
O humano pode identificar quando a saída pode estar errada?
É por isso que é importante que as organizações definam e documentem o que significa interpretabilidade e como medi-lo, no contexto específico de cada sistema de IA que desejam usar.

Alguns sistemas de IA são mais interpretáveis ​​que outros. Por exemplo, modelos que usam um pequeno número de recursos interpretáveis ​​por humanos (por exemplo, idade e peso) provavelmente serão mais fáceis de interpretar do que modelos que usam um grande número de recursos ou envolvem “pré-processamento” pesado.

A relação entre os recursos de entrada e a saída do modelo também pode ser simples ou complicada. Regras simples “se-então”, que podem descrever árvores de decisão, serão mais fáceis de interpretar. Da mesma forma, relacionamentos lineares (onde o valor da saída aumenta proporcionalmente à entrada) podem ser mais fáceis de interpretar do que relacionamentos não monotônicos (em que o valor da saída não é proporcional à entrada) ou não-lineares (onde o valor da saída pode aumentar ou diminuir à medida que a entrada aumenta).

Uma abordagem para abordar a baixa interpretabilidade é o uso de Explicações Agnósticas do Modelo Interpretativo Local (LIMEs), que fornecem uma explicação da saída depois que ela foi gerada. Os LIMEs usam um modelo substituto mais simples para resumir os relacionamentos entre os pares de entrada e saída que são semelhantes aos do sistema que você está tentando interpretar. Além dos resumos de previsões individuais, as LIMEs podem, às vezes, ajudar a detectar erros (por exemplo, para ver qual parte de um classificador de imagem foi classificada erroneamente como um determinado objeto). No entanto, eles não representam a lógica real subjacente ao sistema de inteligência artificial e podem ser enganosos se usados ​​incorretamente.

Muitos modelos estatísticos também podem ser projetados para fornecer uma pontuação de confiança ao lado de cada saída, o que poderia ajudar um revisor humano em suas próprias decisões. Uma pontuação de confiança mais baixa indicaria que o revisor humano precisa ter mais dados para a decisão final.

A avaliação dos requisitos de interpretabilidade deve fazer parte da fase de projeto, permitindo que ferramentas de explicação sejam desenvolvidas como parte do sistema, se necessário.

As organizações devem tentar maximizar a capacidade de interpretação dos sistemas de IA, mas, como iremos explorar nos futuros blogs, haverá muitas vezes difíceis compensações a serem feitas (por exemplo, interpretabilidade versus precisão).

É por isso que as políticas de gerenciamento de risco devem estabelecer um processo de aprovação robusto, baseado em risco e independente para cada sistema de IA. Eles também devem definir claramente quem é responsável pelo teste e validação final do sistema antes de ser implantado. Esses indivíduos devem ser responsabilizados por qualquer impacto negativo sobre a interpretabilidade e a eficácia das revisões humanas e apenas fornecer aprovação se os sistemas de IA estiverem alinhados com a política de gerenciamento de risco adotada.

Treinamento

O treinamento é essencial para garantir que um sistema de IA seja considerado não exclusivamente automatizado.

Como ponto de partida, os revisores humanos devem ser treinados:

entender como funciona um sistema de IA e suas limitações, antecipar quando o sistema pode ser enganoso ou errado e por quê;
ter um nível saudável de ceticismo na produção do sistema de inteligência artificial e ter em conta a frequência com que o sistema pode estar errado;
entender como sua própria expertise é para complementar o sistema e receber uma lista de fatores a serem considerados;
e fornecer explicações significativas para rejeitar ou aceitar a saída do sistema de IA – uma decisão pela qual eles deveriam ser responsáveis. Uma clara política de escalonamento também deve estar em vigor.
Para que o treinamento seja eficaz, é importante que os revisores humanos tenham a autoridade para sobrepor a saída gerada pelo sistema de IA e estejam confiantes de que não serão penalizados por isso. Essa autoridade e confiança não podem ser criadas apenas por políticas e treinamento: uma cultura organizacional de apoio também é crucial.

Nós nos concentramos aqui no treinamento de revisores humanos, no entanto, vale a pena observar que as organizações também devem considerar se qualquer outra função, por exemplo, risco ou auditoria interna, requer treinamento adicional para fornecer uma supervisão eficaz.

Monitoramento

A análise de por que e quantas vezes um revisor humano aceitou ou rejeitou a saída do sistema de inteligência artificial será uma parte essencial de um sistema eficaz de monitoramento de risco.

Se os relatórios de monitoramento de risco sinalizarem que os revisores humanos estão rotineiramente concordando com os resultados do sistema de IA e não conseguem demonstrar que os avaliaram genuinamente, então suas decisões podem ser classificadas como exclusivamente automatizadas no GDPR.

As organizações precisam ter controles para manter o risco dentro dos níveis-alvo, incluindo, se necessário, interromper o processamento de dados pessoais pelo sistema de IA, seja temporariamente ou permanentemente.

Seu retorno
Estamos ansiosos para ouvir seus pensamentos sobre esse assunto e agradecemos qualquer feedback sobre nosso pensamento atual. Em particular, agradecemos a sua opinião sobre as duas perguntas a seguir:

1) Que outros controles técnicos e organizacionais você acha que as organizações devem implementar para reduzir o risco de que os sistemas de IA estejam no escopo do Artigo 22 do GDPR por engano?

2) Existem fatores de risco adicionais, além de interpretabilidade e viés de automação, que devemos abordar nesta parte de nossa Estrutura de Auditoria de IA?

Por favor, compartilhe suas opiniões com a OIC enviando um e-mail para AIAuditingFramework@ico.org.uk

O Dr. Reuben Binns, pesquisador que trabalha com inteligência artificial e proteção de dados, ingressou na OIC em uma parceria de prazo fixo em dezembro de 2018. Durante seu mandato de dois anos, o Dr. Binns pesquisará e investigará uma estrutura para auditar algoritmos e conduzir pesquisas mais aprofundadas. atividades em IA e aprendizado de máquina.

Valeria Gallo é atualmente destacada para a OIC como assessora de política tecnológica. Ela trabalha com Reuben Binns, nosso Pesquisador de Inteligência Artificial (AI), no desenvolvimento da Estrutura de Auditoria da OIC para a IA. Antes de seu destacamento, Valeria foi responsável por analisar e desenvolver liderança de pensamento sobre o impacto da inovação tecnológica na regulamentação e supervisão de empresas de serviços financeiros.


Advertisement