Como reduzir os falsos positivos na filtragem BC/FT sem deixar escapar o risco real

A maioria das equipas de conformidade não perde o sono por causa dos alertas que se revelam genuínos. Perde-o por causa das centenas que não o são. Um motor de filtragem de nomes que assinala todos os clientes que partilham parte de um nome com alguém de uma lista de sanções ou de pessoas politicamente expostas (PPE) produz uma fila que cresce mais depressa do que qualquer equipa a consegue esvaziar — e algures dentro dessa fila, enterrado sob o ruído, está o pequeno número de correspondências que realmente importam. Aprender a reduzir os falsos positivos na filtragem de prevenção e combate ao branqueamento de capitais e financiamento do terrorismo (BC/FT) sem deixar escapar o risco real é, para a maioria das instituições da África Oriental, a medida com maior efeito de alavanca para que o seu programa de combate ao crime financeiro funcione na prática, e não apenas no papel.

Este artigo explica porque é que as taxas de falsos positivos são tão elevadas, quanto lhe custam e quais as alavancas de afinação concretas que reduzem o ruído com segurança. A ênfase está sempre em com segurança: cada uma destas alavancas pode ser mal utilizada para dar à fila um aspecto limpo enquanto suprime silenciosamente o risco real, pelo que cada uma vem acompanhada dos controlos de governação e de prova que mantêm a afinação defensável perante um inspector. Se quiser uma visão mais ampla de como a filtragem se integra num programa BC/FT completo, comece pelo guia completo da plataforma BC/FT e volte aqui para os pormenores da filtragem.

Porque é que as taxas de falsos positivos excedem frequentemente os 90%

As estimativas do sector — inquéritos a profissionais e estudos de fornecedores, e não estatísticas de qualquer regulador — situam frequentemente a taxa de falsos positivos na filtragem de sanções e de PPE acima dos 90% — ou seja, em cada cem alertas que um analista examina, noventa ou mais não correspondem, de todo, à pessoa da lista. Isto não é sinal de que uma ferramenta de filtragem está avariada. É a consequência previsível da forma como a correspondência de nomes tem de funcionar.

A filtragem peca deliberadamente por excesso. As listas de vigilância estão cheias de nomes que são comuns em toda uma região, transliterados de forma incoerente a partir do árabe, do amárico ou de outros alfabetos, e registados com identificadores parciais ou em falta. Um motor de correspondência aproximada tem de admitir variantes ortográficas, a inversão da ordem dos nomes, a ausência de nomes intermédios e a semelhança fonética, porque uma pessoa sujeita a sanções não terá a gentileza de escrever o seu nome da mesma forma que a sua lista de vigilância. A mesma tolerância que apanha alguém que tenta realmente escapar às sanções, com o nome escrito de três formas diferentes, apanha também todos os clientes sem qualquer relação que, por acaso, partilham um apelido comum.

O custo de todo esse ruído não é abstracto:

• Tempo dos analistas. Cada falso positivo consome minutos de análise qualificada que poderiam ter sido dedicados ao risco genuíno. Em grande escala, as equipas gastam a maior parte da sua capacidade de filtragem a confirmar que as pessoas não são quem o sistema temia.
• Atrito na adesão. As correspondências geradas na adesão atrasam a abertura de contas. Os clientes esperam, os balcões escalam a questão e o negócio começa a ver a conformidade como o estrangulamento.
• Fadiga de alertas e cegueira ao risco real. É este o mais perigoso. Quando mais de noventa por cento dos alertas são ruído, os analistas aprendem a despachá-los depressa — e uma fila esvaziada em piloto automático é exactamente o sítio onde uma correspondência genuína é afastada sem o devido escrutínio. Um volume elevado de falsos positivos não se limita a desperdiçar esforço; corrói activamente a qualidade das decisões que mais importam.

Por isso, o objectivo não é chegar a zero falsos positivos. O objectivo é eliminar o ruído que não traz informação, mantendo totalmente intacta, e devidamente analisada, cada correspondência que possa plausivelmente ser real.

As alavancas de afinação seguras

As alavancas abaixo estão ordenadas, grosso modo, da mais amplamente aplicável à mais circunstancial. Nenhuma deve ser accionada isoladamente, e nenhuma deve ser accionada sem um registo de quem alterou o quê e porquê.

Limiares da pontuação de correspondência

Um motor de filtragem atribui a cada potencial correspondência uma pontuação que reflecte o grau de semelhança entre os dados do cliente e a entidade listada. Com um limiar demasiado baixo, tudo gera alertas; com um limiar demasiado alto, corre o risco de deixar cair correspondências genuínas. Afinar o limiar é a alavanca mais directa de que dispõe, e também a mais fácil de utilizar mal.

A disciplina que torna segura a afinação dos limiares é dupla. Em primeiro lugar, nunca afine às cegas um único limiar global — afine-o com base numa amostra rotulada de alertas passados em que já sabe quais eram verdadeiros e quais eram falsos, para poder ver exactamente que correspondências reais um limiar mais alto teria descartado. Em segundo lugar, trate qualquer alteração de limiar como um acontecimento governado, e não como um discreto ajuste de configuração (voltaremos a este ponto mais abaixo). Subir um limiar é a alavanca com maior probabilidade de suprimir o risco real, pelo que merece o maior escrutínio.

Delimitação do âmbito por lista e por segmento

Nem todas as listas se aplicam a todos os clientes, e nem todos os clientes precisam de ser filtrados com base em tudo e com a máxima sensibilidade. Delimitar o âmbito da filtragem, de modo que as listas certas sejam aplicadas aos segmentos certos, elimina uma grande categoria de alertas estruturalmente irrelevantes. Um membro de uma SACCO (cooperativa de poupança e crédito) nacional sem exposição internacional não precisa de ser comparado, com o grau máximo de aproximação, com todas as variantes de PPE estrangeiras; uma contraparte de correspondência bancária precisa.

É aqui que a higiene das listas de vigilância importa tanto como a lógica de correspondência. A filtragem só é tão boa quanto as listas que a sustentam, pelo que a delimitação do âmbito tem de assentar numa gestão disciplinada das listas de vigilância — listas comerciais sincronizadas, com controlo de versões e com painéis de actualidade e de cobertura que confirmam que a correspondência é feita com dados actuais. Uma delimitação do âmbito que exclua discretamente uma lista que é obrigado a utilizar na filtragem não é afinação; é uma lacuna. A fronteira entre as duas é a documentação.

Identificadores secundários — data de nascimento e nacionalidade

A forma mais rápida de afastar um falso positivo baseado apenas no nome é introduzir um segundo dado. Um cliente cujo nome corresponde a um nome listado, mas que tem uma data de nascimento confirmada diferente, ou uma nacionalidade incompatível com a da entidade listada, muito provavelmente não é essa pessoa. Utilizar identificadores secundários — data de nascimento, nacionalidade e outros atributos estruturados — para distinguir entre uma correspondência real e uma coincidência de nomes é uma das alavancas disponíveis com maior rendimento e menor risco.

A ressalva é a qualidade dos dados. Um identificador secundário só ajuda se for recolhido de forma fiável e for digno de confiança. Afastar automaticamente uma correspondência com base numa data de nascimento que nunca foi verificada limita-se a deslocar o risco, em vez de o reduzir. As implementações mais sólidas tornam explícita a lógica dos identificadores secundários no raciocínio da correspondência, para que um revisor possa ver porque é que uma correspondência perdeu prioridade, em vez de a ver desaparecer silenciosamente.

Listas brancas de entidades conhecidas

Quando um analista investigou uma correspondência, confirmou que é um falso positivo e registou as provas, não há qualquer valor em gerar o mesmo alerta, para o mesmo cliente e a mesma entrada da lista, no mês seguinte. Uma lista branca governada de entidades conhecidas e anteriormente afastadas suprime o ruído repetido em correspondências já decididas.

A lista branca é poderosa e, por isso mesmo, perigosa: uma entrada na lista branca é uma decisão permanente de não gerar alertas. Tem de estar ligada às provas da investigação original, ter uma duração limitada ou estar sujeita a revisão periódica, e ser invalidada automaticamente quando a entrada subjacente da lista de vigilância se altera — porque a pessoa que afastou no ano passado pode, entretanto, ter sido incluída numa lista por um motivo novo. Uma lista branca sem ciclo de revisão é a forma de o risco real voltar a entrar por uma porta que deixou aberta.

Torne explicável cada correspondência

Não é possível afinar com segurança aquilo que não se consegue explicar. Um motor de filtragem que se limita a devolver uma pontuação e uma referência de lista obriga o analista — e, mais tarde, o inspector — a aceitar a correspondência por um acto de fé. Quando, depois, afina os limiares ou delimita o âmbito das listas, não tem qualquer base fundamentada para saber o que está a eliminar.

A solução é a correspondência explicável. O software de filtragem BC/FT da Creodata apresenta, para cada correspondência, as três principais razões pelas quais foi desencadeada — os factores, ao estilo SHAP, que determinaram a pontuação, quer se trate da semelhança do nome, de uma data de nascimento coincidente, de uma nacionalidade comum ou de um campo da lista de sanções. Isso traz três benefícios para a afinação:

• Indica aos analistas o que verificar. Uma correspondência desencadeada apenas por um apelido comum, sem qualquer identificador que a corrobore, é uma situação muito diferente de uma que coincide simultaneamente no nome, na data de nascimento e na nacionalidade.
• Indica a quem afina o que está a alterar. Quando consegue ver que razões estão por detrás dos seus falsos positivos e dos seus verdadeiros positivos, as decisões sobre limiares e delimitação do âmbito deixam de ser adivinhação.
• Torna a decisão defensável. Um alerta afastado ou escalado que regista porque é que houve correspondência e porque é que foi resolvido é um artefacto de auditoria, e não uma mera afirmação.

A explicabilidade é o mesmo princípio que sustenta a automatização responsável em toda a plataforma. Se está a ponderar deixar que modelos ajudem a fazer a triagem das correspondências da filtragem, a disciplina da explicabilidade que torna a afinação defensável é o que mantém essa automatização responsabilizável, e não opaca. E, como a filtragem é apenas uma das fontes de alertas, a mesma lógica de primeiro explicar e depois afinar aplica-se à afinação das regras de monitorização, e não apenas da filtragem — as duas filas alimentam a mesma equipa de casos e merecem o mesmo rigor.

Meça a eficácia — e defina-a correctamente

Afinar sem medir é apenas ter esperança. Antes de alterar seja o que for, precisa de uma base de referência e de uma definição de sucesso que não possa ser manipulada.

A métrica tentadora — um número mais baixo de alertas — é exactamente a errada para optimizar isoladamente, porque a forma mais fácil de reduzir os alertas é deixar de apanhar o que quer que seja. Um programa de eficácia defensável acompanha, pelo menos:

A combinação inegociável é a taxa de falsos positivos a par da retenção de verdadeiros positivos. Uma alteração que reduz para metade os seus falsos positivos, mas que deixa cair uma única correspondência verdadeira conhecida, não é uma melhoria — é uma falha de controlo com um painel de melhor aspecto. Compreender como a filtragem produz estas correspondências, tema tratado em como a filtragem de sanções e de PPE produz estas correspondências, é o que lhe permite avaliar se uma métrica está a mudar pela razão certa.

Governe as alterações de limiares com o princípio dos quatro olhos e testes retrospectivos

É este o princípio que transforma a afinação de um risco num controlo. Qualquer alteração à forma como a filtragem decide — um limiar, um âmbito, uma regra de lista branca — é uma alteração à sua postura de risco, e tem de ser governada em conformidade.

Há dois controlos que tornam isto seguro:

• Aprovação segundo o princípio dos quatro olhos. Nenhuma pessoa deve poder, sozinha, atenuar um controlo de filtragem. Uma alteração proposta é feita por uma função e aprovada por outra, para que um limiar que suprime o risco real não possa passar discretamente. Esta disciplina dos quatro olhos é aplicada em toda a plataforma a tudo o que tem consequências, e a afinação da filtragem está claramente nessa categoria.
• Testes retrospectivos antes da promoção. Uma alteração proposta deve ser avaliada com dados históricos antes de chegar à filtragem em produção. O laboratório de afinação e o ambiente de testes retrospectivos da plataforma permitem reproduzir um limiar ou uma regra candidatos sobre alertas passados e ver exactamente que verdadeiros e falsos positivos a alteração teria afectado — antes de a promover. A promoção com controlo de versões significa que cada configuração em produção remonta a uma alteração testada e aprovada.

A envolver tudo isto está um registo de auditoria imutável, só de acréscimo (append-only). Cada alteração de limiar, cada entrada na lista branca, cada decisão de delimitação do âmbito fica registada com quem a propôs, quem a aprovou, as provas dos testes retrospectivos que a sustentam e a data em que produziu efeitos. Quando um inspector pergunta porque é que um determinado nome não foi assinalado há dezoito meses, a resposta é um histórico de configuração documentado e fundamentado em provas — e não um encolher de ombros.

A regra de ouro está por baixo de todas as alavancas acima: nunca elimine o risco real através da afinação para dar à fila um aspecto limpo. Uma fila tranquila obtida à custa da supressão de correspondências genuínas é o pior resultado possível — comporta toda a exposição regulamentar de não fazer nada, disfarçada de eficiência. Feita com explicabilidade, medição, quatro olhos e testes retrospectivos, a afinação elimina o ruído e reforça a sua capacidade de ver as correspondências que importam. Feita sem eles, é apenas esconder o risco. Se lhe for útil uma perspectiva externa para acertar nesse equilíbrio, a consultoria de conformidade em crime financeiro da Creodata pode ajudar a sua instituição a criar um programa de afinação defensável.

Perguntas frequentes

Uma taxa elevada de falsos positivos é sinal de que a minha ferramenta de filtragem está avariada?

Não. As estimativas do sector situam frequentemente as taxas de falsos positivos na filtragem de sanções e de PPE acima dos 90%, porque a correspondência de nomes é deliberadamente afinada para apanhar variantes, transliterações e nomes parciais. Uma taxa muito mais baixa indicaria, mais provavelmente, uma correspondência pouco sensível. O problema a resolver não é a taxa em si, mas a falta de ferramentas — razões de correspondência explicáveis, identificadores secundários, limiares governados — para eliminar o ruído com eficiência sem deixar cair correspondências reais.

Como afino os limiares sem suprimir acidentalmente correspondências reais?

Nunca afine às cegas. Utilize uma amostra rotulada de alertas passados em que já conhece os verdadeiros e os falsos positivos e, depois, submeta qualquer limiar candidato a testes retrospectivos sobre esse histórico antes de o promover. Acompanhe a retenção de verdadeiros positivos a par da taxa de falsos positivos, e exija a aprovação da alteração segundo o princípio dos quatro olhos, para que nenhuma pessoa possa, sozinha, atenuar um controlo.

Qual é a alavanca mais segura para começar?

Os identificadores secundários — data de nascimento e nacionalidade — oferecem normalmente o melhor rácio entre redução do ruído e risco. Distinguir uma simples coincidência de nomes de uma correspondência real, com base num segundo dado verificado, elimina uma grande categoria de falsos positivos sem mexer na sensibilidade da correspondência, desde que os próprios identificadores sejam recolhidos de forma fiável.

Como provo a um regulador que a afinação não enfraqueceu os meus controlos?

Mantenha um trilho de auditoria só de acréscimo de cada alteração de configuração — quem a propôs, quem a aprovou, as provas dos testes retrospectivos e a data de produção de efeitos — e registe as três principais razões explicáveis por detrás de cada decisão de correspondência. Em conjunto, estes elementos transformam uma configuração de filtragem num histórico documentado e fundamentado em provas, e não numa mera afirmação.

Reduzir o ruído da filtragem é uma das formas mais rápidas de devolver à sua equipa de conformidade o seu tempo e a sua capacidade de discernimento — desde que o faça com a explicabilidade, a medição e a mudança governada no centro. Para ver as razões de correspondência explicáveis, o laboratório de afinação e o ambiente de testes retrospectivos, e as alterações de limiares governadas pelo princípio dos quatro olhos a funcionar em conjunto com dados reais, marque uma demonstração da Creodata.