Publicada em dezembro de 2023, a ISO/IEC 42001 é a primeira norma internacional de sistemas de gestão voltada para o uso e desenvolvimento sustentáveis da Inteligência Artificial (IA) nas organizações.
A nova norma fornece diretrizes abrangentes para a gestão de sistemas de IA nas organizações e representa um passo importante para a padronização das práticas de IA. Além disso, ela possibilita a certificação das organizações interessadas e aborda os desafios enfrentados pela IA, incluindo questões éticas, de transparência e a necessidade de melhoria contínua.
Um dos principais pontos abordados pela norma, alinhado com a ISO 31000:2018 de gestão de riscos, diz respeito a orientações e melhores práticas para gerenciar riscos dos sistemas de IA.
Na mesma linha, a norma NBR ISO/IEC 23894:2023, Tecnologia da Informação - Inteligência Artificial - Orientações sobre gestão de riscos, fornece orientações sobre como as organizações que desenvolvem, produzem, implantam ou usam produtos, sistemas e serviços que utilizam IA podem gerenciar riscos relacionados a essas tecnologias.
Uma das fontes de riscos destacadas por essa norma está relacionada ao aprendizado de máquina (machine learning ou ML), que acaba influenciando diversos avanços nas tecnologias de IA. O comportamento desses sistemas depende não apenas dos algoritmos em uso, mas também dos dados nos quais os modelos de ML são treinados.
De acordo com a norma, alguns efeitos dessa fonte de riscos sobre as características da IA incluem:
"Qualidade dos dados: A qualidade dos dados de treinamento e teste afeta diretamente a funcionalidade do sistema. A qualidade inadequada dos dados pode afetar vários objetivos, como justiça, segurança física e robustez.
- Para sistemas de IA que utilizam ML, os processos usados para coletar dados são uma fonte de riscos que são especialmente difíceis de diagnosticar e detectar. Por exemplo:
- Os dados podem se tornar não representativos do domínio de aplicação, levando a riscos para os objetivos de negócios.
- A origem e o armazenamento de dados podem incorrer em significativos riscos éticos e legais. Deixar de proteger o processo de coleta de dados pode levar a riscos de ataques adversários, envenenamento de dados ou outras manipulações."
Nesse contexto, como os algoritmos e a qualidade dos dados podem afetar o desempenho dos sistemas de IA, impactando os objetivos organizacionais?
Aplicação prática - Vieses de IA na navegação de carreiras
Disponível para consulta nacional desde fevereiro de 2024, a norma NBR ISO/IEC TR 24027: Tecnologia da Informação - Inteligência Artificial - Viés em sistemas de IA e tomada de decisão auxiliada por IA aborda com maior profundidade quais são, como surgem e a melhor forma de tratar os vieses mais comuns dos sistemas de IA.
De acordo com a norma, "Vieses em sistemas de IA podem ser introduzidos como resultado de deficiências estruturais no projeto do sistema, surgir de viés cognitivo humano mantido pelas partes interessadas ou ser inerentes aos datasets usados para treinar os modelos".
"Os sistemas de IA geralmente aprendem com dados do mundo real; portanto, um modelo de ML pode aprender ou até mesmo amplificar vieses problemáticos de dados preexistentes. Esses vieses podem potencialmente favorecer ou desfavorecer determinados grupos de pessoas, objetos, conceitos ou resultados. Mesmo com dados aparentemente sem vieses, e treinamento e teste multifuncional mais rigorosos, ainda pode resultar em um modelo de ML com viés indesejado".
Um exemplo de viés que pode ser introduzido pelas tecnologias de IA ocorre no processo de recrutamento de profissionais e nos sistemas de navegação de carreiras.
A maioria dos candidatos tem acesso muito limitado a informações sobre o mercado de trabalho – que empregos estão disponíveis perto deles, quais competências ou credenciais são necessárias e quanto pagam as vagas. Como resultado, baseiam-se em dados recolhidos em anúncios de emprego e nas redes sociais, bem como em impressões de conversas informais.
As organizações, por sua vez, na busca por eficiência, contam com sistemas de contratação alimentados por IA que diversas vezes excluem candidatos qualificados devido a pequenas deficiências nas suas qualificações, são difíceis de navegar sem um acesso robusto à internet e confundem até os candidatos mais experientes.
Muitas organizações investem milhões na experiência do usuário, mas não são capazes de aprimorar a experiência do candidato. Em geral, elas publicam descrições de cargos que vão muito além de descrever as habilidades básicas mínimas necessárias para se qualificar.
Como resultado, nem sempre recorrem aos candidatos mais aptos para determinada função, evitando que a concorrência se fortaleça, mas evidenciando a falta de profissionais qualificados.
A chave para os empregadores é reconhecer como as suas próprias ações criam uma escassez de talentos e quais fatores inibem os trabalhadores a entrar ou permanecer no mercado de trabalho.
Assim, um dos riscos da introdução de sistemas de IA nas organizações está relacionado a possíveis vieses na seleção, orientação e contratação de profissionais. Em alguns casos, esses sistemas podem gerar recomendações de carreira tendenciosas ou limitadas para os usuários, sejam estes candidatos ou empregadores.
Por meio da Análise BowTie e com o auxílio do chatbot "Análise BowTie de Riscos e Controles", integrante do nosso SuperChatGPT | ISO31000.net,
é possível mapear esse risco, de modo a compreender melhor suas origens, implicações e como minimizá-lo.
A seguir, tem-se o diagrama e a análise resultantes das interações com o chatbot mencionado:
Fonte de risco: Introdução de sistemas de IA na seleção, orientação e contratação de profissionais (navegação de carreiras).
Evento principal: Ocorrência do viés de carreira, em que a IA gera recomendações de carreira tendenciosas ou limitadas aos usuários.
Possíveis causas:
- Falta de diversidade nos dados de treinamento dos sistemas de IA: se os dados históricos refletirem preconceitos de gênero, raça, idade ou outras características, a IA pode perpetuar esses vieses;
- Algoritmos de IA enviesados ou treinados de forma inadequada;
- Uso de sistemas de IA para manipular ou desinformar os usuários, fornecendo-lhes informações falsas ou enganosas.
Consequências:
- Recomendações de carreira discriminatórias, limitando oportunidades para certos grupos demográficos;
- Exclusão de talentos qualificados;
- Redução da confiança e do uso de sistemas de IA para a navegação de carreiras;
- Comprometimento dos sistemas de IA para a navegação de carreiras.
Controles preventivos: para minimizar o risco de viés de carreira, podem ser implementados os seguintes controles preventivos:
- Seleção de conjuntos de dados representativos e livres de vieses;
- Análise rigorosa dos dados de treinamento para identificar e corrigir possíveis vieses;
- Desenvolvimento de algoritmos imparciais e equitativos, que levem em consideração a diversidade e a igualdade de oportunidades;
- Estabelecimento de diretrizes claras para supervisão e auditoria contínua dos sistemas de IA.
Controles reativos: para lidar com as consequências do viés de carreira, podem ser implementados os seguintes controles reativos:
- Testes de equidade regulares para avaliar como as recomendações de IA estão distribuindo oportunidades entre grupos demográficos;
- Mecanismos de revisão e apelação para os usuários contestarem recomendações discriminatórias;
- Reconhecimento das soft skills (criatividade, inovação, liderança, etc) como parte integrante dos programas de formação profissional;
- Monitoramento contínuo do desempenho dos sistemas de IA, ajustando os algoritmos conforme necessário;
- Transparência e prestação de contas, comunicando aos usuários como as recomendações de carreira são geradas;
- Desenvolvimento de parcerias com sistemas escolares e outros fornecedores de competências;
- Realização de auditorias regulares dos algoritmos;
- Uso de novas fontes de dados sobre carreiras, mais precisas e confiáveis;
- Revisão dos pacotes de benefícios, de modo a melhor refletir as necessidades dos trabalhadores;
- Investimento em sistemas de IA Generativa para aprimorar a navegação de carreiras.
Fatores de degradação:
- Falta de diversidade na equipe de desenvolvimento de IA;
- Falta de atualização regular dos dados de treinamento;
- Falta de conscientização sobre vieses algorítmicos.
Barreiras aos fatores de degradação:
- Promoção da diversidade e inclusão na equipe de desenvolvimento de IA;
- Estabelecimento de processos para atualização regular dos dados de treinamento, garantindo que sejam representativos e imparciais;
- Treinamentos regulares sobre vieses algorítmicos e ética em IA aos desenvolvedores.
Principais medidas para aprimorar a navegação de carreiras
Um primeiro passo para melhorar a navegação de carreiras é construir ligações com sistemas escolares e outros fornecedores de competências. Essas parcerias oferecem uma forma de contribuir para o desenvolvimento curricular, de modo que as escolas preparem os funcionários para carreiras nas empresas.
Tais parcerias podem incluir estágios remunerados, programas cooperativos com faculdades e outros caminhos para atrair pessoas que muitas vezes não conhecem - ou não têm acesso às ferramentas que podem ajudá-las a encontrar - um plano de carreira específico, criando sistemas inerentemente desiguais.
Criação de novas fontes de dados: uma boa navegação na carreira depende de dados precisos e oportunos. A maioria dos candidatos a emprego tomará decisões informadas sobre como cultivar competências relevantes para o mercado de trabalho ao receber informações sobre disponibilidade de vagas, remuneração e perspectivas de progressão ascendente.
Os empregadores devem incentivar os governos a criar tais fontes de dados e ajudar a garantir que sejam precisos e atualizados.
Reconhecimento de habilidades fundamentais: as competências mais duradouras num mercado de trabalho caracterizado por rápidas mudanças tecnológicas são as competências humanas, como criatividade, inovação e liderança (soft skills).
Convém que as organizações tornem essas competências parte integrante de seus programas de formação e aprendizagem.
Reconhecimento das necessidades de mudança dos trabalhadores: a força de trabalho atual exige tipos de benefícios diferentes dos das gerações anteriores.
É importante que os empregadores revejam seus pacotes de benefícios, melhorando-os para refletir as necessidades dos funcionários, como suporte na prestação de cuidados e apoio educacional e na formação.
Investimento em sistemas de IA Generativa: a IA Generativa é ideal para resolver as muitas deficiências do atual sistema de navegação de carreiras, devido à sua adaptabilidade e maior capacidade de interação com os usuários.
Ela pode fornecer aos candidatos informações definitivas e em tempo real sobre a disponibilidade de empregos, requisitos de habilidades e outras informações para funcionários em cargos específicos. E pode dar aos empregadores uma visão precisa sobre quem teve sucesso histórico nas suas empresas, permitindo contratações baseadas em competências.
IA Generativa x IA Convencional na navegação de carreiras
Os sistemas de IA convencionais e generativos podem diferir em vários aspectos durante o processo de seleção e contratação de profissionais, especialmente na navegação de carreiras. Vejamos as principais diferenças:
Processamento de Linguagem Natural (PLN) e geração de texto:
IA Convencional: Os sistemas convencionais de IA podem utilizar técnicas de PLN para analisar currículos, identificar palavras-chave e classificar candidatos com base em correspondência de habilidades.
IA Generativa: Os sistemas generativos podem criar respostas mais naturais e contextuais. Por exemplo, ao interagir com candidatos, podem gerar mensagens personalizadas e mais fluidas, simulando uma interação mais humana.
- Simulação de entrevistas:
- IA Convencional: Pode utilizar algoritmos para avaliar respostas padrão, mas muitas vezes é limitada à análise de palavras-chave e à correspondência com critérios pré-definidos.
IA Generativa: Pode simular entrevistas mais interativas, adaptando suas respostas com base nas interações anteriores. Essa capacidade de gerar respostas contextuais pode ajudar a entender melhor as habilidades sociais e de comunicação dos candidatos.
Avaliação de habilidades criativas:
IA Convencional: Tende a ser mais focada em habilidades técnicas e quantificáveis.
IA Generativa: Pode avaliar a criatividade e inovação dos candidatos de maneira mais subjetiva, gerando situações hipotéticas ou cenários desafiadores para testar a capacidade de resolução criativa de problemas.
- Feedback personalizado:
- IA Convencional: Fornece feedbacks baseados em critérios específicos e correspondência de habilidades.
IA Generativa: Pode oferecer feedbacks mais personalizados e construtivos, abordando pontos específicos do desempenho do candidato de maneira mais detalhada e contextual.
- Interação social:
- IA Convencional: Geralmente se concentra em análises de dados objetivos.
- IA Generativa: Pode simular interações sociais mais complexas, avaliando a adaptabilidade e a empatia dos candidatos com base em respostas geradas em tempo real.
Essas diferenças destacam como os sistemas de IA generativos podem agregar uma camada mais sofisticada e contextual à navegação de carreiras, tornando a interação entre candidatos e sistemas mais próxima de uma experiência humana.
Sendo assim, em que situações é recomendável utilizar um sistema de IA Convencional e quando optar pela IA Generativa no processo de navegação de carreiras?
A escolha entre um sistema de IA Convencional e um sistema de IA Generativa no contexto da navegação de carreiras depende dos objetivos específicos da organização, da natureza das posições a serem preenchidas e da experiência desejada para os candidatos.
A seguir, algumas considerações para orientar essa decisão:
|
Sistemas de IA
Convencional
|
Sistemas de IA
Generativa
|
|
Funções técnicas e específicas
|
Avaliação de habilidades sociais e
comportamentais
|
|
Grandes volumes de candidatos
|
Cargos de liderança e colaboração
|
|
Processos de recrutamento padronizados
|
Entendimento do contexto cultural da organização
|
|
Funções com requisitos claros
|
Feedback construtivo personalizado
|
|
|
Simulação de tarefas complexas
|
Muitas organizações podem optar por uma abordagem híbrida, combinando elementos de ambos os sistemas para obter uma melhor configuração.
Nas próximas postagens, abordaremos outros riscos dos sistemas de IA e como minimizá-los.
Fonte: "As AI upends recruiting, job seekers need an waze app for careers" - Harvard Business School - 16/02/2024
• Para conhecer melhor e colocar em prática as aplicações da 'Inteligência Artificial Generativa' em sua organização, acesse gratuitamente nosso SuperChatGPT | ISO31000.net, que contém 8 chatbots especialistas, desenvolvidos e treinados pelo QSP em gestão de riscos e temas relacionados.
• Assista também a este vídeo explicativo que produzimos sobre o SuperChatGPT | ISO31000.net, para você aproveitar melhor todas as suas capacidades!
• E, para você usufruir ainda mais dos nossos 8 chatbots - e ver o que eles já são capazes de fazer, acesse e baixe os arquivos a seguir com Exemplos de Perguntas e Respostas dadas pelos nossos bots especialistas em:
