Publicada em dezembro de 2023, a ISO/IEC 42001 é a primeira norma internacional de sistemas de gestão voltada para o uso e desenvolvimento sustentáveis da Inteligência Artificial (IA) nas organizações.
A nova norma fornece diretrizes abrangentes para a gestão de sistemas de IA nas organizações e representa um passo importante para a padronização das práticas de IA. Além disso, ela possibilita a certificação das organizações interessadas e aborda os desafios enfrentados pela IA, incluindo questões éticas, de transparência e a necessidade de melhoria contínua.
Um dos principais pontos abordados pela norma, alinhado com a ISO 31000:2018 de gestão de riscos, diz respeito a orientações e melhores práticas para gerenciar riscos dos sistemas de IA.
Na mesma linha, a norma NBR ISO/IEC 23894:2023, Tecnologia da Informação - Inteligência Artificial - Orientações sobre gestão de riscos, fornece orientações sobre como as organizações que desenvolvem, produzem, implantam ou usam produtos, sistemas e serviços que utilizam IA podem gerenciar riscos relacionados a essas tecnologias.
Uma das fontes de riscos destacadas por essa norma está relacionada ao aprendizado de máquina (machine learning ou ML), que acaba influenciando diversos avanços nas tecnologias de IA. O comportamento desses sistemas depende não apenas dos algoritmos em uso, mas também dos dados nos quais os modelos de ML são treinados.
De acordo com a norma, alguns efeitos dessa fonte de riscos sobre as características da IA incluem:
"Qualidade dos dados: A qualidade dos dados de treinamento e teste afeta diretamente a funcionalidade do sistema. A qualidade inadequada dos dados pode afetar vários objetivos, como justiça, segurança física e robustez.
- Para sistemas de IA que utilizam ML, os processos usados para coletar dados são uma fonte de riscos que são especialmente difíceis de diagnosticar e detectar. Por exemplo:
- Os dados podem se tornar não representativos do domínio de aplicação, levando a riscos para os objetivos de negócios.
- A origem e o armazenamento de dados podem incorrer em significativos riscos éticos e legais. Deixar de proteger o processo de coleta de dados pode levar a riscos de ataques adversários, envenenamento de dados ou outras manipulações."
Nesse contexto, como os algoritmos e a qualidade dos dados podem afetar o desempenho dos sistemas de IA, impactando os objetivos organizacionais?