1 de fevereiro de 2025

Guardrails de IA e Análise BowTie - Aprimorando o desempenho dos sistemas de IA

Uma das principais etapas do Processo de Gestão de Riscos envolve estabelecer controles preventivos para evitar a ocorrência dos riscos, e controles reativos para minimizar as consequências dos riscos, caso estes se desenvolvam. 

De forma similar, tais controles, bastante utilizados na Análise BowTie (BTA), podem ser comparados a guardrails, ou seja, barreiras colocadas ao longo das rodovias, que protegem os veículos de desviarem seu percurso, evitando acidentes. 

Com o advento da IA ​​Generativa, o conceito de guardrails passou a se aplicar a sistemas projetados para garantir que as ferramentas de IA das organizações, incluindo determinados modelos de linguagem (LLMs ou large language models), funcionem em linha com padrões, políticas e valores organizacionais.

Embora a IA Generativa possa melhorar a eficiência, a inovação e gerar vantagens competitivas, ela também pode introduzir desafios e riscos. Assim, à medida que a adoção dessa tecnologia se dissemina, os guardrails passam a ser cruciais para o uso responsável da IA. 

Como então utilizar esses guardrails de forma eficaz e confiável para, junto com a Análise BowTie, aprimorar o desempenho dos sistemas de IA?


Principais aplicações e benefícios dos guardrails de IA

Os guardrails de IA podem identificar e remover conteúdo impreciso gerado por LLMs, bem como monitorar e filtrar prompts (comandos fornecidos pelos usuários) arriscados. Esse conteúdo sensível pode incluir vulnerabilidades de segurança, alucinações, conteúdo tóxico ou inapropriado e desinformação.

Porém, assim como os guardrails na rodovia não eliminam o risco de ferimentos ou fatalidades, os guardrails de IA não garantem que os sistemas de IA sejam completamente seguros, justos, compatíveis e éticos. 

Para obter melhores resultados, as organizações podem implementar guardrails de IA junto a outros controles processuais (como, por exemplo, softwares de monitoramento e conformidade, rotinas de teste e avaliação), bem como tecnologias de IA mais adequadas para dimensionar a governança de IA nas empresas. 

Além disso, para fomentar o ambiente de inovação, é importante que as tecnologias de IA operem com segurança e responsabilidade, com os guardrails de IA desempenhando um papel crítico. Alguns benefícios que eles podem oferecer às organizações incluem:

Privacidade e segurança: os sistemas de IA são suscetíveis a ataques de agentes mal-intencionados que exploram vulnerabilidades para manipular resultados gerados por IA. Os guardrails podem reforçar os sistemas de IA contra esses ataques, ajudando a proteger as organizações e seus clientes.

Conformidade regulatória: com o crescente escrutínio governamental das tecnologias de IA, as organizações devem assegurar que seus sistemas de IA estejam em conformidade com as leis e padrões atuais e emergentes. Ao ajudar as organizações a manter a conformidade dos sistemas de IA, os guardrails podem mitigar o risco de penalidades legais e obrigações decorrentes do uso dessas ferramentas.

Confiabilidade: garantir sistemas de IA seguros e confiáveis é fundamental para clientes e demais partes interessadas. Os guardrails permitem o monitoramento e a análise crítica contínuos de saídas geradas por IA, o que pode reduzir o risco de conteúdo confidencial ser divulgado fora da organização.

De forma prática, as organizações podem dimensionar seus guardrails de IA incorporando-os em plataformas corporativas. Algumas delas fornecem guardrails de IA no ambiente de produção para ajudar a garantir a governança de IA em escala e reduzir os riscos de violações de privacidade de dados, vieses, alucinações e violação de propriedade intelectual.


No setor financeiro, algumas empresas desenvolvem chatbots de IA com guardrails para garantir interações precisas e seguras com os clientes. Os guardrails são aplicados para filtrar informações confidenciais e conselhos potencialmente arriscados aos clientes, bem como garantir a conformidade com requisitos legais.

Por se tratar de uma ferramenta de suporte, é vital desde o início projetar os chatbots de IA com guardrails para garantir que eles forneçam saídas seguras aos clientes, ao mesmo tempo em que cumpram as exigências regulatórias.


Tipos de guardrails de IA e seu funcionamento

Os guardrails de IA são agrupados de acordo com sua finalidade e os tipos de riscos que abordam. Vejamos a seguir alguns exemplos, em função de riscos específicos:

Guardrails de adequação: verificam se o conteúdo gerado pela IA é tóxico, prejudicial, tendencioso ou baseado em estereótipos, e filtram qualquer conteúdo inapropriado antes que ele chegue aos clientes.

Guardrails de alucinação: garantem que o conteúdo gerado pelas ferramentas de IA não contenha informações que sejam factualmente erradas ou enganosas.

Guardrails de conformidade regulatória: validam se o conteúdo gerado atende a requisitos regulatórios, sejam esses requisitos gerais ou específicos para o setor ou caso de uso.

Guardrails de alinhamento: garantem que o conteúdo esteja alinhado com as expectativas do usuário e não se desvie de seu propósito principal. Esses guardrails podem ajudar a manter a consistência da marca, por exemplo.

Guardrails de validação: verificam se o conteúdo atende a critérios específicos, ou seja, se o conteúdo contém ou não certas informações. Se uma parte do conteúdo gerado for sinalizada por um guardrail de validação, o conteúdo pode ser redirecionado para um loop de correção para retificar o erro. 

A validação deve ser a última de uma série de tarefas que os guardrails de IA realizam. Após isso, uma pessoa responsável pela validação deve analisar criticamente casos sinalizados ou ambíguos que exigem raciocínio humano.

Guardrails de IA são construídos usando uma variedade de técnicas, desde sistemas baseados em regras a LLMs. No final, porém, a maioria dos guardrails é totalmente determinística, ou seja, os sistemas sempre geram a mesma saída para a mesma entrada, sem aleatoriedade ou variabilidade

Geralmente, os guardrails monitoram a saída dos sistemas de IA executando uma série de tarefas: por exemplo, classificação, validação semântica, detecção de vazamentos de informações pessoais ​​e identificação de conteúdo prejudicial. 

Para executar essas tarefas, os guardrails de IA são compostos por quatro componentes inter-relacionados, cada qual desempenhando um papel crucial:

Verificador: verifica o conteúdo gerado pela IA para detectar erros e sinalizar problemas, como linguagem ofensiva ou respostas tendenciosas. Ele atua como a primeira linha de defesa, identificando problemas potenciais antes que estes possam causar danos ou violar diretrizes éticas.

Corretor: Uma vez que o verificador identifica um problema, o corretor refina, corrige e/ou melhora a saída da IA, ​​conforme necessário. Ele pode corrigir imprecisões, remover conteúdo inapropriado e garantir que a resposta seja precisa e alinhada com a mensagem pretendida. O corretor trabalha iterativamente, refinando o conteúdo até que este atenda aos padrões exigidos.

Trilho (rail): O trilho gerencia a interação entre o verificador e o corretor. Ele executa verificações no conteúdo e, se o conteúdo não atender a nenhum padrão, aciona o corretor para fazer ajustes.

Esse processo é repetido até que o conteúdo passe em todas as verificações ou atinja um limite de correção predefinido. O trilho também registra os processos do verificador e do corretor, fornecendo dados para análise posterior.

Vigia (guard): O vigia interage com todos os outros três componentes, iniciando verificadores e corretores junto com os trilhos, gerenciando e agregando os resultados dos trilhos e entregando mensagens corrigidas.


Guardrails de IA e Análise BowTie

A combinação entre guardrails de IA e diagramas BowTie é fundamental para garantir a segurança e a confiabilidade dos sistemas de IA.

Vejamos a seguir um exemplo de aplicação prática dessa relação em uma organização que utiliza um chatbot de IA para atender seus clientes, para o evento 'Divulgação de informações confidenciais dos clientes':


(*) Diagrama preparado com o auxílio do Software BowTieXP.
 
Em seguida, mostramos como os principais elementos interagem para o desdobramento deste risco, incluindo o papel dos guardrails de IA (controles preventivos e reativos) nesse processo.

Potenciais causas 


- Configuração inadequada dos parâmetros de privacidade do chatbot;

- Chatbot interpreta errado as solicitações dos usuários, divulgando dados sensíveis;

- Integração incorreta com sistemas de dados internos;

- Exposição acidental de dados devido a bugs no software.


Controles preventivos


- Revisão e configuração adequada dos parâmetros de privacidade;

- Implementação de filtros de conteúdo para evitar respostas inadequadas;

- Mascaramento de dados dos usuários para que as respostas do chatbot removam qualquer informação pessoal identificável;

- Testes rigorosos de integração do chatbot com sistemas internos;

- Programas de treinamento contínuo e atualização dos operadores;

- Revisão e correção de bugs no software antes da implementação do chatbot.

Consequências


- Vazamento de dados pessoais dos clientes;

- Danos à reputação da empresa;

- Multas e penalidades por não conformidade com regulamento de proteção de dados;

- Perda de confiança dos clientes.

Controles reativos


- Monitoramento em tempo real e alertas de atividades suspeitas;

- Procedimentos de respostas a incidentes para lidar com vazamento de dados;

- Revisão e atualização das políticas de segurança após incidentes;

- Comunicação transparente com os clientes afetados.


Fatores de degradação


- Falta de atualização dos sistemas de segurança;

- Dependência excessiva de soluções automatizadas sem supervisão humana.

Barreiras aos fatores de degradação


- Implementação de um cronograma de atualizações de segurança; 

- Supervisão humana regular para complementar as soluções automatizadas.

Aplicando os guardrails de IA nas organizações


Para que a implementação dos guardrails de IA seja bem sucedida e se integre aos processos organizacionais, algumas medidas podem ser adotadas:

- Projeção de guardrails com equipes multidisciplinares: é importante trabalhar com diversas partes interessadas, incluindo equipes jurídicas, para construir guardrails com base nos riscos e consequências reais que podem decorrer do uso de ferramentas de IA.

- Definição de métricas de qualidade de conteúdo, adaptadas às saídas desejadas e com base em metas, padrões e regulamentações comerciais específicos. 

- Adoção de uma abordagem modular: criação de guardrails que sejam reconfiguráveis ​​para diferentes usos das tecnologias de IA e que possam ser facilmente incorporados e dimensionados para os sistemas de IA existentes na empresa.

- Adoção de uma abordagem dinâmica: as ferramentas de IA Generativa são sistemas probabilísticos que ajustam dinamicamente suas saídas com base em entradas geradas pelo usuário. Assim, é importante implementar guardrails baseados em regras dinâmicas, de modo que as saídas dos modelos se adaptem a diferentes variáveis.

- Consideração das estruturas regulatórias existentes e emergentes: considerar as estruturas regulatórias, legais e de conformidade existentes e emergentes, bem como as melhores práticas do setor, ajuda a criar 'metas' a serem atingidas pelo sistemas de IA. Dessa forma, é possível gerar métricas para medir o desempenho dos modelos de IA.

- Desenvolvimento de novas capacidades e funções: capacitação de uma nova geração de profissionais responsáveis ​​pelos resultados dos modelos e por garantir a transparência e confiabilidade aos sistemas de IA, incorporando processos de documentação, responsabilização e conformidade no ambiente de trabalho.


Por exemplo, as organizações podem aplicar guardrails de IA ao desenvolvimento de produtos, em que o teste de segurança é uma etapa crítica. 

Assim, os processos de desenvolvimento de produtos, que normalmente são formatados por líderes ou engenheiros de produtos, se tornariam mais multidisciplinares para incorporar as perspectivas de outras partes, bem como as de gestores de conformidade, riscos e operações.

Futuramente, espera-se que surjam não apenas novos tipos de sistemas de IA, mas também novos padrões de como esses sistemas serão desenvolvidos e operacionalizados.

Estas são apenas algumas possibilidades para tornar os sistemas de IA mais robustos e aceitos em diversos tipos de empresas.

Ao colocar em prática essas medidas e combiná-las à Análise BowTie, as organizações podem utilizar os guardrails de IA para se antecipar aos riscos provenientes da implementação de sistemas de IA, criando um espaço mais seguro e confiável para a inovação e transformação.


Fonte: 'What are AI guardrails?' - McKinsey, 14/11/2024


 Para conhecer melhor e colocar em prática as aplicações da Análise BowTie, participe gratuitamente do nosso Programa BowTie.

Conheça também nosso exclusivo chatbot Análise BowTie de Riscos e Controles, integrante do SuperChatGPT| ISO31000.net. 

E, para colocar em prática as aplicações da IA Generativa em sua organização, acesse gratuitamente os demais chatbots do nosso SuperChatGPT | ISO31000.net, desenvolvidos e treinados pelo QSP em Gestão de Riscos e temas relacionados.