Explorador de evidencia

Exactitud de intención

Simulación

El enrutador de intención frente a la línea base de palabras clave, en los mismos turnos reservados y sellados. Los casos los escribió el equipo; no son tráfico de producción.

• Línea base de palabras clave69.2% en 308 turnos · rango de 95% de 59.1% a 79.2% · candidates.baseline.breakdown_overall.accuracy
• Enrutador LLM, versión final81.8% en 308 turnos · rango de 95% de 72.7% a 90.9% · candidates.router_v2.breakdown_overall.accuracy
• Prompt v3, no servido: no pasó el control de seguridad97.4% en 308 turnos · rango 95% de 93.8% a 100.0% · candidates.router_v3.breakdown_overall.accuracy

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Por idioma

Simulación

Exactitud de intención del router LLM final en cada variante. Cada variante tiene los mismos casos, escritos en esa variante. Un modelo escribió los casos en portugués y ningún hablante nativo los revisó.

• es-AR81.8% en 77 turnos · candidates.router_v2.variant_losses.by_variant.es-AR.accuracy
• es-CO81.8% en 77 turnos · candidates.router_v2.variant_losses.by_variant.es-CO.accuracy
• es-MX81.8% en 77 turnos · candidates.router_v2.variant_losses.by_variant.es-MX.accuracy
• pt-BR81.8% en 77 turnos · candidates.router_v2.variant_losses.by_variant.pt-BR.accuracy

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Techo de resolución

Simulación

La política fija un techo de cuántos casos simulados pueden resolverse. Ambos sistemas resuelven todos los casos bajo el techo, así que no se diferencian. El conjunto no puede separar a los dos sistemas en resolución.

• Casos que la política deja resolver16 de 56 · ceiling.router_v2.resolvable
• Resueltos por la línea base16 de 56 · ceiling.baseline.resolved
• Resueltos por el enrutador LLM16 de 56 · ceiling.router_v2.resolved

evidence/evaluation-runs/2024Q4-resolution-gap-v1/summary.json

Corte de confianza

Simulación

Exactitud del tipo de respuesta del enrutador con y sin corte de confianza. La confianza del modelo está saturada cerca del máximo. Un corte cerca del máximo elimina respuestas correctas, no errores. La corrida tiene tres ajustes y ninguna curva, así que esta página muestra los tres ajustes y no una barra deslizante. Los cortes siguen apagados.

• Sin cortes (nuestra configuración)99.0% en 198 turnos · kind_accuracy.no_cutoffs.kind_accuracy
• Corte redondeado al tope54.0% en 198 turnos · kind_accuracy.t_act_1_0.kind_accuracy
• Corte antes de redondear77.8% en 198 turnos · kind_accuracy.t_act_unrounded.kind_accuracy

evidence/evaluation-runs/2024Q4-cutoff-diagnosis-v1/summary.json

Ataques

Suite de pruebas

Cada barra muestra los ataques que detiene el código de producción. Los otros ataques pasan solo con el modelo mock, o son límites documentados. Ningún ataque tiene un resultado inseguro.

• Inyección de instrucciones5 de 8 · categories.A_prompt_injection.blocked_verified
• Acceso no autorizado9 de 10 · categories.B_unauthorized_access.blocked_verified
• Sesión6 de 6 · categories.C_session.blocked_verified
• Fallas de herramientas6 de 6 · categories.D_tool_failures.blocked_verified
• Ambigüedad multilingüe6 de 6 · categories.E_multilingual_ambiguity.blocked_verified
• Divulgación de decisiones6 de 6 · categories.F_decision_disclosure.blocked_verified
• Todos los ataques38 de 42 · totals.blocked_verified

Resultados inseguros, todos los ataques: 0/42 · totals.unsafe_outcome_rate

evidence/adversarial/20261005T014816Z/summary.json

Latencia

SimulaciónLlamadas reales al modelo sobre casos de simulación

Tiempo de un turno enrutado con el enrutador LLM, en milisegundos. Las llamadas son reales. Los casos los escribió el equipo.

• Mediana (p50)1,474.20 ms 308 turnos · candidates.router_v2.latency_ms.p50
• Turno lento (p95)4,317.14 ms 308 turnos · candidates.router_v2.latency_ms.p95

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Latencia de una repetición

SimulaciónRepetición de respuestas grabadas del modelo, sin llamadas reales

La corrida de resolución repite respuestas grabadas. Mide el código, no el modelo. No la compares con la latencia en vivo.

• Mediana (p50)0.64 ms 56 turnos · system.router_v2.latency_ms.p50
• Turno lento (p95)1.09 ms 56 turnos · system.router_v2.latency_ms.p95

evidence/evaluation-runs/2024Q4-resolution-v2/summary.json

Costo

SimulaciónLlamadas reales al modelo sobre casos de simulación

Precio total de las llamadas reales de cada enrutador sobre los mismos turnos. Los precios vienen de la biblioteca de modelos de Fireworks, como registra la decisión sobre los modelos del enrutador.

• Enrutador LLM, versión finalUSD 0.04141 por 308 turnos · candidates.router_v2.cost_usd.total

evidence/evaluation-runs/2024Q4-eval-v8/summary.json