Assim, surge a seguinte questão: Como é possível executar proativamente uma avaliação qualitativa do desempenho de um controle, quando há pouca ou nenhuma informação disponível, seja por meio de análises de incidentes como de auditorias ou inspeções?
Em algumas situações, um método quantitativo como a LOPA (Layers of Protection Analysis ou Análise de Camadas de Proteção) pode ajudar a fornecer valores ao desempenho dos controles. A LOPA usa a probabilidade de falha sob demanda (PFD) como uma métrica para determinar a probabilidade de um controle falhar. Uma PFD de 0,01 indica que o controle falhará, em média, uma vez a cada 100 anos (ou outra unidade de medida escolhida). Isso implica que ele será eficaz em 100% do tempo, durante os outros 99 anos.
Esse tipo de análise funciona para um processo técnico, como por exemplo quando uma válvula abre e evita uma sequência de incidentes ou falha ao abrir e não impede esses incidentes. No entanto, em muitas análises de riscos, o desempenho dos controles tem uma gama maior de possibilidades do que apenas "Ativado" ou "Desativado" e deve ser avaliado de outra forma.
Indicadores qualitativos para o desempenho dos controles
Para cobrir essa variedade de opções, é necessário atribuir valores qualitativos a certos tipos de controles, como os que são projetados para evitar a ocorrência de um evento ou reduzir suas consequências negativas. Uma métrica para avaliar o desempenho esperado dos controles, de maneira qualitativa, é a eficácia. Em outras palavras, quão eficaz é um controle ao desempenhar sua função, considerando um determinado cenário de risco?
Uma escala de eficácia possível e simples de ser utilizada seria: "muito boa", "boa", "ruim", "muito ruim". Da mesma forma, outras classificações e escalas ordinais, mais simples ou complexas, podem ser empregadas.
A eficácia é um conceito intuitivo para avaliar desempenho dos controles, porém muitos usuários da Metodologia BowTie ainda possuem dificuldades para julgar, de maneira informada, quão eficazes são seus controles, principalmente quando há poucos ou nenhum dado disponível sobre os mesmos.
Uma alternativa para facilitar a avaliação desses cenários é dividir a eficácia em termos de adequação e confiabilidade. Isso contribui para qualificar o desempenho dos controles, de modo que a combinação desses elementos origine uma classificação (rating) de eficácia.
Adequação
O componente de adequação indica até que ponto um controle que funciona corretamente interromperá a evolução de determinado risco. Ocorre sempre em relação ao cenário de risco (comparado à causa ou consequência da Análise BowTie) e leva em consideração as caraterísticas do controle (como tipo, categoria, etc.) e o tamanho da causa ou consequência sobre a qual este deve atuar.
Por exemplo, o uso de um extintor de incêndio como controle reativo. No caso de um pequeno incêndio na cozinha do escritório, o extintor, quando usado corretamente, provavelmente apagará o fogo. Nesse cenário, o controle pode ser avaliado como adequado. No entanto, quando levamos em conta um incêndio maior na área do escritório, esse mesmo extintor provavelmente não é tão adequado e, portanto, pouco eficaz para conter o incêndio.
Em outras palavras, a adequação é uma métrica que pode ser 100%, 0% ou qualquer valor intermediário, sem intervalos fixos. Dessa forma, é possível escolher o nível de adequação necessário para fazer a escala de eficácia funcionar.
Confiabilidade
O segundo componente de eficácia do controle responde à pergunta: "O controle funcionará conforme planejado quando for necessário?". Assim, é necessário examinar todos os fatores que afetam a disponibilidade e o desempenho do controle em determinado cenário. Se houver dados suficientes, pode-se analisar os incidentes em que o controle estava ausente (disponibilidade) ou em que momento o controle estava presente, mas não entrou em ação porque a manutenção não foi realizada (desempenho).
Se a avaliação da adequação e da confiabilidade tiver sido realizada, é possível usar uma matriz para determinar a eficácia dos controles, como a matriz abaixo, que varia de "Muito Bom" (MB) a "Muito Ruim" (MR). Por exemplo, um controle altamente adequado e muito confiável recebe uma classificação de eficácia "Muito Bom" (MB).
Em algumas situações, no entanto, o uso de escalas ordinais como "Ruim", "Bom" ou "Muito Bom" pode ser pouco conclusivo, devido à subjetividade que acompanha sua classificação. Para tornar a avaliação mais objetiva, é possível criar uma matriz de eficácia dos controles que defina um rating para cada valor e especifique em que momento é necessária a adoção de medidas para o tratamento dos riscos.
 |
| Exemplo de Matriz de Eficácia dos Controles (Clique na figura para ampliar) |
Portanto, é possível avaliar a eficácia de um controle de maneira quantitativa, mas esse tipo de avaliação não é aplicável a todas as análises de riscos. Consequentemente, outros tipos de indicadores são necessários.
Classificações qualitativas de eficácia, divididas em adequação e confiabilidade, fornecem os elementos necessários para um julgamento mais preciso sobre o desempenho dos controles. Isso permite realizar avaliações de riscos de diferentes cenários e identificar os pontos fortes e fracos da operação com maior confiabilidade.
Para saber mais sobre a Metodologia BowTie:
- Baixe a versão completa do Software BowTieXP (trial gratuito por 30 dias)
Fonte: "How to estimate the expected performance of your barriers or controls" - CGE Risk Management
