Sentinel“Não reconheço esta cobrança.” Cada uma custa ao banco tempo e confiança.
Duas formas em que hoje dá errado
Um chatbot pode inventar. Afirma um fato que não verificou, ou diz que um caso existe quando não existe.
Um atendente começa do zero. A transferência não traz fatos verificados, então o cliente repete tudo.
Clientes no México, na Colômbia e na Argentina, que escrevem em espanhol ou português.
O tamanho do problema
ligações sobre uma cobrança contestada, de 464.000+ ligações na janela de desenvolvimento.
horas de atendente por mês em disputas
das chamadas por disputas terminam resolvidas
Dados bancários do hackathon. São sintéticos. evidence/problem/dev-v1/summary.json
SentinelConheça o Sentinel. Um caso verificado em uma conversa, ou um atendente que já tem os fatos.
- Fala espanhol (es-MX, es-CO, es-AR) e português (pt-BR).
- Abre uma disputa só quando a política permite e o cliente confirma.
- Dá um número de caso só depois de reler o caso.
Quatro casos de demonstração
Uma cobrança, uma confirmação, um número de caso.
Duas compras iguais. Pergunta qual.
Passa o caso a um atendente, com os fatos.
Não julga a fraude. Um atendente julga.
Projeto de hackathon arquivado. A demo e o vídeo foram retirados.
SentinelA IA conversa. As regras decidem.
SentinelConfiança que se pode medir. Cada número tem sua fonte.
Segurança
ataques terminam em um resultado inseguro. O código bloqueia 38. Os 3 que passam só com um modelo simulado também são seguros com o modelo real (0/3 inseguros).
casos de contestação terminam inseguros. Resolve cada caso que a política permite (16 de 16) e transfere o resto.
Compreensão
de 308 turnos de teste selados entendidos bem. Um sistema de palavras-chave obtém 69,2%.
Segurança antes da acurácia. Um prompt mais novo obteve 97,4%, mas escreveu 4 rascunhos inseguros de 93. Não o colocamos em serviço.
Fontes: evidence/adversarial, evaluation-runs/2024Q4-eval-v8, 2024Q4-resolution-v2 e -gap-v1. Uma simulação não é uma medição de produção. router_v2 · prompt v2 · bundle_hash 2efe5962…
SentinelPronto para sua equipe de risco. Cada decisão tem um motivo.
O atendente recebe um dossiê, não um formulário em branco
amount.high: acima do limite do paísDados de demonstração. O pacote não leva o id do cliente nem dados pessoais brutos.
Controles que sua equipe de risco pode auditar
- A política é código. Cada decisão guarda o id da sua regra.
- O modelo nunca vê o id do cliente. O código mascara antes os dados pessoais.
- Um número de caso aparece só depois que o código relê o caso.
- Cada turno fica registrado com seu rastro, custo e latência, por país.
- Sua marca: o nome e a cor do banco vêm da configuração.
custo do modelo por cada caso resolvido sem atendente.
SentinelO que vem a seguir, e o que precisa.
Limites
- Dados: sintéticos, só em espanhol, três países. Um modelo escreveu os casos em português.
- Teto: a política deixa resolver 16 de 56 casos simulados (Simulação). O sistema resolve todos, e nenhum outro.
- Simulados: armazém Gold, login, atendente, armazém de casos e valores de política. Cada um tem seu substituto em produção.
- Números: nenhum destes números é uma medição de produção.
Roteiro
- Customer 360: o saldo não tem uma data de referência utilizável.
- Investigação de uma cobrança: precisa de dados reais do banco.
- Dados de feedback: aprender com o resultado de cada transferência.
- Assistente de gastos: precisa de saldos e histórico.
- Consulta de políticas: precisa dos documentos de política do banco.
- Roteamento de transferências: por idioma e especialidade.
README.md#roadmap · docs/architecture/mocks.md