Sentinel“No reconozco este cargo.” Cada uno le cuesta al banco tiempo y confianza.
Dos formas en que hoy sale mal
Un chatbot puede inventar. Afirma un dato que no verificó, o dice que un caso existe cuando no existe.
Un asesor empieza de cero. La derivación no lleva datos verificados, así que el cliente repite todo.
Clientes en México, Colombia y Argentina, que escriben en español o portugués.
El tamaño del problema
llamadas por un cargo en disputa, de 464,000+ llamadas en la ventana de desarrollo.
horas de agente al mes en disputas
de las llamadas por disputas terminan resueltas
Datos bancarios del hackathon. Son sintéticos. evidence/problem/dev-v1/summary.json
SentinelConozca Sentinel. Un caso verificado en una conversación, o un asesor que ya tiene los datos.
- Habla español (es-MX, es-CO, es-AR) y portugués (pt-BR).
- Abre una disputa solo cuando la política lo permite y el cliente confirma.
- Da un número de caso solo después de releer el caso.
Cuatro casos de demostración
Un cargo, una confirmación, un número de caso.
Dos compras iguales. Pregunta cuál.
Pasa el caso a un asesor, con los datos.
No juzga el fraude. Lo hace un asesor.
Proyecto de hackathon archivado. La demo y el video fueron retirados.
SentinelLa IA conversa. Las reglas deciden.
SentinelConfianza que se puede medir. Cada cifra tiene su fuente.
Seguridad
ataques terminan en un resultado inseguro. El código detiene 38. Los 3 que pasan solo con un modelo simulado también son seguros con el modelo real (0/3 inseguros).
casos de disputa terminan inseguros. Resuelve cada caso que la política permite (16 de 16) y deriva el resto.
Comprensión
de 308 turnos de prueba sellados entendidos bien. Un sistema de palabras clave obtiene 69.2%.
Seguridad antes que exactitud. Un prompt más nuevo obtuvo 97.4%, pero escribió 4 borradores inseguros de 93. No lo pusimos en servicio.
Fuentes: evidence/adversarial, evaluation-runs/2024Q4-eval-v8, 2024Q4-resolution-v2 y -gap-v1. Una simulación no es una medición de producción. router_v2 · prompt v2 · bundle_hash 2efe5962…
SentinelListo para su equipo de riesgo. Cada decisión tiene una razón.
El asesor recibe un expediente, no un formulario en blanco
amount.high: por encima del umbral del paísDatos de demostración. El paquete no lleva el id del cliente ni datos personales en bruto.
Controles que su equipo de riesgo puede auditar
- La política es código. Cada decisión guarda el id de su regla.
- El modelo nunca ve el id del cliente. El código enmascara antes los datos personales.
- Un número de caso aparece solo después de que el código relee el caso.
- Cada turno queda registrado con su traza, costo y latencia, por país.
- Su marca: el nombre y el color del banco vienen de la configuración.
costo del modelo por cada caso resuelto sin asesor.
SentinelLo que sigue, y lo que necesita.
Límites
- Datos: sintéticos, solo en español, tres países. Un modelo escribió los casos en portugués.
- Techo: la política deja resolver 16 de 56 casos simulados (Simulación). El sistema los resuelve todos, y ningún otro.
- Simulados: almacén Gold, inicio de sesión, asesor, almacén de casos y valores de política. Cada uno tiene su reemplazo en producción.
- Números: ninguno de estos números es una medición de producción.
Hoja de ruta
- Customer 360: el saldo no tiene una fecha de corte utilizable.
- Investigación de un cargo: necesita datos reales del banco.
- Datos de retroalimentación: aprender del resultado de cada derivación.
- Asistente de gastos: necesita saldos e historial.
- Consulta de políticas: necesita los documentos de política del banco.
- Enrutamiento de traspasos: por idioma y especialidad.
README.md#roadmap · docs/architecture/mocks.md