10 de agosto de 2020

Como Estimar o Desempenho dos Controles na Gestão de Riscos?

Durante os processos de análise e avaliação de riscos, há um momento em que as organizações buscam estimar o desempenho dos controles existentes. Geralmente, essa etapa ocorre na avaliação final do nível de risco, utilizando uma matriz de riscos, que avalia o risco residual (após a implementação das medidas de tratamento de riscos) e o compara ao seu nível mínimo aceitável (ALARP - As Low as Reasonably Practicable).

No entanto, como é possível executar proativamente uma avaliação qualitativa do desempenho de um controle, quando há pouca ou nenhuma informação disponível, seja por meio de análises de incidentes como de auditorias ou inspeções?

Em algumas situações, um método quantitativo como a LOPA (Layers of Protection Analysis ou Análise de Camadas de Proteção) pode ajudar a fornecer valores ao desempenho dos controles. A LOPA usa a probabilidade de falha sob demanda (PFD) como uma métrica para determinar a probabilidade de um controle falhar. Uma PFD de 0,01 indica que o controle falhará, em média, uma vez a cada 100 anos (ou outra unidade de medida escolhida). Isso implica que ele será eficaz em 100% do tempo, durante os outros 99 anos. 


Esse tipo de análise funciona para um processo técnico, como por exemplo quando uma válvula abre e evita uma sequência de incidentes ou falha ao abrir e não impede esses incidentes. No entanto, em muitas análises de riscos, o desempenho dos controles tem uma gama maior de possibilidades do que apenas "Ativado" ou "Desativado" e deve ser avaliado de outra forma.

Indicadores qualitativos para o desempenho dos controles


Para cobrir essa variedade de opções, é necessário atribuir valores qualitativos a certos tipos de controles, como os que são projetados para evitar a ocorrência de um evento ou reduzir suas consequências negativas. Uma métrica para avaliar o desempenho esperado dos controles, de maneira qualitativa, é a eficácia. Em outras palavras, quão eficaz é um controle ao desempenhar sua função, considerando um determinado cenário de risco? 

Uma escala de eficácia possível e simples de ser utilizada seria: "muito boa", "boa", "ruim", "muito ruim". Da mesma forma, outras classificações e escalas ordinais, mais simples ou complexas, podem ser empregadas.

A eficácia é um conceito intuitivo para avaliar desempenho dos controles, porém muitos usuários da Metodologia BowTie ainda possuem dificuldades para julgar, de maneira informada, quão eficazes são seus controles, principalmente quando há poucos ou nenhum dado disponível sobre os mesmos.

Uma alternativa para facilitar a avaliação desses cenários é dividir a eficácia em termos de adequação e confiabilidade. Isso contribui para qualificar o desempenho dos controles, de modo que a combinação desses elementos origine uma classificação (rating) de eficácia.

Adequação


O componente de adequação indica até que ponto um controle que funciona corretamente interromperá a evolução de determinado risco. Ocorre sempre em relação ao cenário de risco (comparado à causa ou consequência da Análise BowTie) e leva em consideração as caraterísticas do controle (como tipo, categoria, etc.) e o tamanho da causa ou consequência sobre a qual este deve atuar.

Por exemplo, o uso de um extintor de incêndio como controle reativo. No caso de um pequeno incêndio na cozinha do escritório, o extintor, quando usado corretamente, provavelmente apagará o fogo. Nesse cenário, o controle pode ser avaliado como adequado. No entanto, quando levamos em conta um incêndio maior na área do escritório, esse mesmo extintor provavelmente não é tão adequado e, portanto, pouco eficaz para conter o incêndio.


Em outras palavras, a adequação é uma métrica que pode ser 100%, 0% ou qualquer valor intermediário, sem intervalos fixos. Dessa forma, é possível escolher o nível de adequação necessário para fazer a escala de eficácia funcionar.

Confiabilidade


O segundo componente de eficácia do controle responde à pergunta: "O controle funcionará conforme planejado quando for necessário?". Assim, é necessário examinar todos os fatores que afetam a disponibilidade e o desempenho do controle em determinado cenário. Se houver dados suficientes, pode-se analisar os incidentes em que o controle estava ausente (disponibilidade) ou em que momento o controle estava presente, mas não entrou em ação porque a manutenção não foi realizada (desempenho).

Se a avaliação da adequação e da confiabilidade tiver sido realizada, é possível usar uma matriz para determinar a eficácia dos controles, como a matriz abaixo, que varia de "Muito Bom" (MB) a "Muito Ruim" (MR). Por exemplo, um controle altamente adequado e muito confiável recebe uma classificação de eficácia "Muito Bom" (MB). 
Em algumas situações, no entanto, o uso de escalas ordinais como "Ruim", "Bom" ou "Muito Bom" pode ser pouco conclusivo, devido à subjetividade que acompanha sua classificação. Para tornar a avaliação mais objetiva, é possível criar uma matriz de eficácia dos controles que defina um rating para cada valor e especifique em que momento é necessária a adoção de medidas para o tratamento dos riscos.


Exemplo de Matriz de Eficácia dos Controles (Clique na figura para ampliar)

Portanto, é possível avaliar a eficácia de um controle de maneira quantitativa, mas esse tipo de avaliação não é aplicável a todas as análises de riscos. Consequentemente, outros tipos de indicadores são necessários.

Classificações qualitativas de eficácia, divididas em adequação e confiabilidade, fornecem os elementos necessários para um julgamento mais preciso sobre o desempenho dos controles. Isso permite realizar avaliações de riscos de diferentes cenários e identificar os pontos fortes e fracos da operação com maior confiabilidade.


Para saber mais sobre a Metodologia BowTie:


Fonte: "How to estimate the expected performance of your barriers or controls" - CGE Risk Management 

23 de junho de 2020

Aprimore sua Auditoria Baseada em Riscos com o AuditXP

Nos últimos tempos, a Auditoria Baseada em Riscos (ABR) tem ganhado destaque nas organizações, devido ao seu potencial para avaliar a eficácia dos controles existentes e aprimorar o desempenho dos sistemas de gestão.

A ABR fornece uma abordagem sistemática para a gestão de riscos de qualquer natureza, incluindo os relacionados às áreas de QSMS. 

Nossa proposta é que as empresas desenvolvam cenários de risco que possam ser visualizados e gerenciados, utilizando a metodologia BowTiePara controlar esses riscos, mantendo-os em níveis aceitáveis, são introduzidos então controles (preventivos e reativos) em cada cenário. 

Para garantir que os controles funcionem como deveriam, é necessário implementar medidas que assegurem a eficácia dos mesmos como, por exemplo, atividades de planejamento, treinamento, manutenção, inspeção, etc. Nesse sentido, o software AuditXP surge como uma ferramenta fundamental, facilitando todas as etapas da auditoria.


Aprimorando a ABR com o AuditXP


Por via de regra, a Auditoria Baseada em Riscos pode apresentar 3 objetivos principais:

- Avaliar a eficácia dos controles;

- Monitorar o desempenho do sistema de gestão;

- Verificar a conformidade com os requisitos legais aplicáveis à organização (auditoria de conformidade legal).

Utilizando o AuditXP, é possível, de forma simples e prática, atingir esses objetivos. A ferramenta funciona como um complemento (add-on) do software BowTieXP e é usada para gerar questionários ou pesquisas de auditoria, relacionando-os a cada controle no diagrama BowTie.


Figura 1: Auditoria Baseada em Riscos (clique na figura para ampliar)
                     

Avaliação da eficácia dos controles


O desempenho dos controles é um indicador importante da eficácia da gestão de riscos em uma organização. Controles eficazes podem impedir a ocorrência de eventos indesejados e, por isso, devem ser monitorados com frequência. Não existe um consenso, no entanto, sobre a melhor forma de avaliá-los. Uma maneira de obter dados sobre o desempenho desses controles é por meio de questionários.

No AuditXP, é possível criar pesquisas para avaliar a eficácia dos controles. Primeiramente, criam-se perguntas específicas, relacionadas ao desempenho de cada controle, de modo a atribuí-las aos respectivos controles. Em seguida, selecionam-se as questões mais relevantes para gerar uma pesquisa e enviá-la aos responsáveis ​​pela auditoria. Depois do preenchimento das informações relevantes, as respostas podem ser importadas ao diagrama BowTie com o AuditXP (Figura 2 abaixo). 


 Figura 2: Eficácia dos Controles - Ex. de Resultados da Auditoria (clique na figura para ampliar)








 

Monitoramento do desempenho do sistema de gestão


O desempenho dos controles está diretamente relacionado à performance dos sistemas de gestão (ligados, por sua vez, a um conjunto de atividades pré-definidas). Uma gestão eficaz dos controles requer um bom desempenho das empresas em diferentes aspectos de gestão. 

Por exemplo, a ISO 45001 exige que as organizações fundamentem seus processos com base em recursos, competência, conscientização das pessoas, etc. Esses fatores apoiam a implementação dos controles, do nível organizacional ao operacional. Avaliar o desempenho do sistema de gestão é uma função importante da ABR. Como a eficácia das atividades determina a performance do sistema de gestão, podemos monitorar o desempenho de tais atividades.

Ao usar o AuditXP, é possível criar uma pesquisa com perguntas voltadas às atividades do sistema de gestão, em vez dos próprios controles. Por exemplo, uma BowTie tem um controle "Direção defensiva", suportado pela atividade "Treinamento de direção defensiva", para garantir o desempenho deste controle. 

Para avaliar o desempenho do sistema de gestão, podem-se criar perguntas relacionadas a essa atividade. Essas perguntas são então incorporadas a diferentes pesquisas que, uma vez preenchidas, geram resultados que podem ser visualizados e monitorados no diagrama BowTie (Figura 3)


Figura 3: Eficácia das Atividades - Ex. de Resultados da Auditoria (clique na figura para ampliar)












Verificação da conformidade com requisitos legais 


A avaliação do desempenho dos controles e atividades do sistema de gestão fornece evidências explícitas e confiáveis ​​para a auditoria externa. Empresas podem usar esses dados para garantir a conformidade com requisitos legais. Auditores externos também podem usar o AuditXP para realizar uma auditoria externa.

Para verificar se uma organização está em conformidade com os requisitos legais que a afetam (definidos, por exemplo, em leis, decretos, NRs, etc.), é necessário, primeiramente, definir a estrutura de conformidade (compliance framework) e os objetivos dos controles relacionados a esses requisitos. Tais objetivos devem ser especificados para orientar os usuários a criarem perguntas voltadas à conformidade legal.

O AuditXP facilita a conexão dos objetivos aos controles ou atividades pertinentes. Os auditores podem elaborar pesquisas de acordo com os objetivos em uma estrutura de conformidade, atribuindo as perguntas aos controles ou atividades correspondentes. Assim, as respostas a essas questões indicam se a organização alcança os objetivos dentro dessa estrutura de conformidade. 

Além de responder às perguntas, os usuários também podem fazer comentários sobre um controle ou atividade. Com base nesses dados, é possível determinar o nível de maturidade da gestão de riscos da organização, bem como a conformidade com os requisitos legais aplicáveis.

Utilizando o AuditXP para aprimorar as Auditorias Baseadas em Risco, é possível identificar e monitorar pontos críticos da operação e, assim, propor alternativas para melhorar a eficácia dos controles e o desempenho do sistema de gestão.

No vídeo abaixo, mostramos como AuditXP pode ser usado para melhorar as ABRs e atingir os objetivos das auditorias.