SentinelLa IA conversa. Las reglas deciden.
El cliente dice «No reconozco este cargo». Sentinel comprueba los datos. Después abre un caso verificado o entrega al asesor un expediente completo. La conversación sigue en español o portugués. Sentinel actúa solo cuando la política lo permite. Nunca inventa un dato.
La pantalla del cliente usa la marca del banco. El producto es la capa de confianza que está debajo.
Concepto
Sentinel convierte un cargo en disputa en un caso verificado o en un traspaso. El modelo etiqueta la intención. El código comprueba los datos, aplica la política del banco y verifica el resultado.
Analogía física
Piensa en una sucursal bancaria. El modelo es el empleado que escucha. La política es el manual de reglas. El código es el cajero que revisa el recibo antes de mover dinero.
Mecánica técnica
- Entiende. Un modelo de lenguaje lee la solicitud y etiqueta la intención.
- Busca. El código lee los cargos de la cuenta de la sesión; el modelo nunca ve el id del cliente.
- Decide. El motor de políticas se ejecuta en código y permite, rechaza o traspasa.
- Verifica. El código confirma que el caso existe antes de informarlo.
- Traspasa. El fraude o un monto alto va a un asesor con los datos verificados.
Mira cómo funciona
Mira cada parte. Cada parte está marcada como real o mock. Cambia a producción para ver el reemplazo de cada mock.
Un turno del chatSiete pasos. Mira quién decide, qué entra y qué sale, y qué puede detener el turno.
Tres casosNormal, ambiguo y se necesita una persona. Los tres en un solo mapa.
EvidenciaCada barra muestra su denominador, su tipo y su campo del resumen.
Para bancosLo que hace falta para llevar esto a un banco. Mira el camino a producción, la seguridad y el control, y las preguntas frecuentes.
DiapositivasSeis diapositivas: por qué, qué, cómo, prueba, para el banco, límites y hoja de ruta.
Resultados, con su tipo
Cada número viene de un summary.json congelado, a través de site/numbers.json. Una etiqueta indica el tipo. Una simulación no es una medición de producción. Qué es real.
ataques con un resultado inseguro, de 42 probados.
evidence/adversarial · totals.unsafe_outcome_ratede 42 ataques detenidos por el código de producción.
totals.blocked_verifiedde 42 son seguros solo con el modelo mock. Lo decimos.
totals.passes_on_mockde 308 turnos de prueba sellados que el router LLM entendió bien. La línea base de palabras clave obtiene 69.2%. Un prompt más nuevo obtuvo más. No pasó el control de seguridad, así que no lo pusimos en servicio.
evaluation-runs/2024Q4-eval-v8 · candidates.router_v2.intent.accuracycasos resolubles resueltos. La política deja resolver 16 de 56 casos. Los demás casos necesitan un traspaso o una pregunta. 0/56 terminan de forma insegura. El enrutador suma 0 casos sobre la línea base. La línea base llega al mismo techo.
evaluation-runs/2024Q4-resolution-gap-v1 · ceiling.router_v2llamadas por un cargo en disputa, de 464,000+ llamadas en la ventana de desarrollo. Usan 390+ horas de agente al mes. Solo 43.6% terminan resueltas.
problem/dev-v1 · demand, hours, reasonsCuatro casos para probar
El cliente responde en es-MX, es-CO, es-AR o pt-BR. Los datos son sintéticos. El almacén Gold es un mock etiquetado.
Un cargo, una confirmación, un número de caso verificado.
Varias compras iguales. El sistema pregunta cuál antes de actuar.
El sistema no actúa solo. Traspasa con los datos verificados.
El sistema no decide sobre fraude. Traspasa a un asesor.
Casos. La demo en vivo fue retirada. Los cuatro casos y las líneas de la demo siguen en el replay de la demo.
Capturas de pantalla
Capturas reales de la demostración en un teléfono, en español y portugués. La demostración usa datos de prueba y la línea base de palabras clave. El pie de cada pantalla lo dice. Las capturas vienen de scripts/capture_ui_product.py.
Límites y hoja de ruta
Límites
- Datos: sintéticos, solo en español, para tres países. Un modelo escribió los casos en portugués.
- Techo: la política deja resolver 16 de 56 casos simulados (Simulación). El sistema resuelve todos. No resuelve ninguno más.
- Mocks: el almacén Gold, el acceso y la sesión, el asesor, el almacén de casos y los valores de la política. Cada uno mantiene el contrato de producción. Mocks.
- Traducciones: un modelo escribió las páginas en español y portugués a partir de las páginas en inglés. Ningún hablante nativo las revisó.
- Números: ningún número es una medición de producción.
Hoja de ruta: lo que no se construyó
- Customer 360: el saldo no tiene una fecha de corte utilizable.
- Investigación de un cargo: necesita datos reales del banco.
- Conjunto de retroalimentación: los resultados de los traspasos a asesores.
- Asistente de gastos: necesita saldos e historial.
- Consulta de políticas: necesita los documentos de política del banco.
- Enrutamiento de traspasos: por idioma y especialidad.
Cada punto tiene su evidencia en la hoja de ruta del README.