SentinelA IA conversa. As regras decidem.
O cliente diz “Não reconheço esta cobrança”. O Sentinel verifica os dados. Depois abre um caso verificado ou entrega ao atendente um processo completo. A conversa continua em espanhol ou português. O Sentinel age apenas quando a política permite. Nunca inventa um dado.
A tela do cliente usa a marca do banco. O produto é a camada de confiança por baixo.
Conceito
O Sentinel transforma uma cobrança contestada em um caso verificado ou em uma transferência. O modelo etiqueta a intenção. O código verifica os dados, aplica a política do banco e confirma o resultado.
Analogia física
Pense em uma agência bancária. O modelo é o funcionário que escuta. A política é o manual de regras. O código é o caixa que confere o recibo antes de mover dinheiro.
Mecânica técnica
- Entenda. Um modelo de linguagem lê a solicitação e etiqueta a intenção.
- Consulte. O código lê as cobranças da conta da sessão; o modelo nunca vê o id do cliente.
- Decida. O motor de políticas roda em código e permite, recusa ou transfere.
- Verifique. O código confirma que o caso existe antes de informá-lo.
- Transfira. Fraude ou um valor alto vai para um atendente com os dados verificados.
Veja como funciona
Veja cada parte. Cada parte está marcada como real ou mock. Mude para produção para ver a substituição de cada mock.
Um turno do chatSete passos. Veja quem decide, o que entra e o que sai, e o que pode interromper o turno.
Três casosNormal, ambíguo e é preciso uma pessoa. Os três em um único mapa.
EvidênciasCada barra mostra seu denominador, seu tipo e seu campo do resumo.
Para bancosO que é necessário para levar isto a um banco. Veja o caminho para a produção, a segurança e o controle, e as perguntas frequentes.
SlidesSeis slides: por quê, o quê, como, prova, para o banco, limites e roteiro.
Resultados, com seu tipo
Cada número vem de um summary.json congelado, por meio de site/numbers.json. Um rótulo indica o tipo. Uma simulação não é uma medição de produção. O que é real.
ataques com resultado inseguro, de 42 testados.
evidence/adversarial · totals.unsafe_outcome_ratede 42 ataques bloqueados pelo código de produção.
totals.blocked_verifiedde 42 são seguros só com o modelo mock. Nós dizemos isso.
totals.passes_on_mockde 308 turnos de teste selados que o roteador LLM entendeu bem. A linha de base de palavras-chave obtém 69,2%. Um prompt mais novo obteve mais. Não passou no controle de segurança, então não o colocamos em produção.
evaluation-runs/2024Q4-eval-v8 · candidates.router_v2.intent.accuracycasos resolvíveis resolvidos. A política deixa resolver 16 de 56 casos. Os outros casos precisam de uma transferência ou de uma pergunta. 0/56 terminam de forma insegura. O roteador soma 0 casos sobre a linha de base. A linha de base chega ao mesmo teto.
evaluation-runs/2024Q4-resolution-gap-v1 · ceiling.router_v2ligações sobre uma cobrança contestada, de 464.000+ ligações na janela de desenvolvimento. Usam 390+ horas de atendente por mês. Só 43,6% terminam resolvidas.
problem/dev-v1 · demand, hours, reasonsQuatro casos para testar
O cliente responde em es-MX, es-CO, es-AR ou pt-BR. Os dados são sintéticos. O armazenamento Gold é um mock rotulado.
Uma cobrança, uma confirmação, um número de caso verificado.
Várias compras iguais. O sistema pergunta qual antes de agir.
O sistema não age sozinho. Transfere com os fatos verificados.
O sistema não decide sobre fraude. Transfere para um atendente.
Casos. A demo ao vivo foi retirada. Os quatro casos e as linhas da demo continuam no replay da demo.
Capturas de tela
Capturas reais da demonstração em um telefone, em espanhol e português. A demonstração usa dados de teste e a linha de base de palavras-chave. O rodapé de cada tela diz isso. As capturas vêm de scripts/capture_ui_product.py.
Limites e roteiro
Limites
- Dados: sintéticos, apenas em espanhol, para três países. Um modelo escreveu os casos em português.
- Teto: a política deixa resolver 16 de 56 casos simulados (Simulação). O sistema resolve todos. Não resolve nenhum outro.
- Mocks: o armazém Gold, o login e a sessão, o atendente, o armazém de casos e os valores da política. Cada um mantém o contrato de produção. Mocks.
- Traduções: um modelo escreveu as páginas em espanhol e português a partir das páginas em inglês. Nenhum falante nativo as revisou.
- Números: nenhum número é uma medição de produção.
Roteiro: o que não foi construído
- Customer 360: o saldo não tem uma data de referência utilizável.
- Investigação de uma cobrança: precisa de dados reais do banco.
- Conjunto de feedback: os resultados das transferências para atendentes.
- Assistente de gastos: precisa de saldos e histórico.
- Consulta de políticas: precisa dos documentos de política do banco.
- Roteamento de transferências: por idioma e especialidade.
Cada item tem sua evidência no roteiro do README.