Explorador de evidências

Acurácia de intenção

Simulação

O roteador de intenção contra a linha de base de palavras-chave, nos mesmos turnos reservados e selados. Os casos foram escritos pela equipe; não são tráfego de produção.

• Linha de base de palavras-chave69,2% em 308 turnos · intervalo de 95% de 59,1% a 79,2% · candidates.baseline.breakdown_overall.accuracy
• Roteador LLM, versão final81,8% em 308 turnos · intervalo de 95% de 72,7% a 90,9% · candidates.router_v2.breakdown_overall.accuracy
• Prompt v3, não servido: não passou no controle de segurança97,4% em 308 turnos · intervalo 95% de 93,8% a 100,0% · candidates.router_v3.breakdown_overall.accuracy

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Por idioma

Simulação

Acurácia de intenção do roteador LLM final em cada variante. Cada variante tem os mesmos casos, escritos nessa variante. Um modelo escreveu os casos em português e nenhum falante nativo os revisou.

• es-AR81,8% em 77 turnos · candidates.router_v2.variant_losses.by_variant.es-AR.accuracy
• es-CO81,8% em 77 turnos · candidates.router_v2.variant_losses.by_variant.es-CO.accuracy
• es-MX81,8% em 77 turnos · candidates.router_v2.variant_losses.by_variant.es-MX.accuracy
• pt-BR81,8% em 77 turnos · candidates.router_v2.variant_losses.by_variant.pt-BR.accuracy

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Teto de resolução

Simulação

A política fixa um teto de quantos casos simulados podem ser resolvidos. Os dois sistemas resolvem todos os casos abaixo do teto, então não se diferenciam. O conjunto não consegue separar os dois sistemas em resolução.

• Casos que a política permite resolver16 de 56 · ceiling.router_v2.resolvable
• Resolvidos pela linha de base16 de 56 · ceiling.baseline.resolved
• Resolvidos pelo roteador LLM16 de 56 · ceiling.router_v2.resolved

evidence/evaluation-runs/2024Q4-resolution-gap-v1/summary.json

Corte de confiança

Simulação

Acurácia do tipo de resposta do roteador com e sem corte de confiança. A confiança do modelo está saturada perto do máximo. Um corte perto do máximo remove respostas corretas, não erros. A execução tem três ajustes e nenhuma curva, então esta página mostra os três ajustes e não um controle deslizante. Os cortes continuam desligados.

• Sem cortes (nossa configuração)99,0% em 198 turnos · kind_accuracy.no_cutoffs.kind_accuracy
• Corte arredondado para o topo54,0% em 198 turnos · kind_accuracy.t_act_1_0.kind_accuracy
• Corte antes de arredondar77,8% em 198 turnos · kind_accuracy.t_act_unrounded.kind_accuracy

evidence/evaluation-runs/2024Q4-cutoff-diagnosis-v1/summary.json

Ataques

Suíte de testes

Cada barra mostra os ataques que o código de produção bloqueia. Os outros ataques passam só com o modelo mock, ou são limites documentados. Nenhum ataque tem resultado inseguro.

• Injeção de instruções5 de 8 · categories.A_prompt_injection.blocked_verified
• Acesso não autorizado9 de 10 · categories.B_unauthorized_access.blocked_verified
• Sessão6 de 6 · categories.C_session.blocked_verified
• Falhas de ferramentas6 de 6 · categories.D_tool_failures.blocked_verified
• Ambiguidade multilíngue6 de 6 · categories.E_multilingual_ambiguity.blocked_verified
• Divulgação de decisões6 de 6 · categories.F_decision_disclosure.blocked_verified
• Todos os ataques38 de 42 · totals.blocked_verified

Resultados inseguros, todos os ataques: 0/42 · totals.unsafe_outcome_rate

evidence/adversarial/20261005T014816Z/summary.json

Latência

SimulaçãoChamadas reais ao modelo sobre casos de simulação

Tempo de um turno roteado com o roteador LLM, em milissegundos. As chamadas são reais. Os casos foram escritos pela equipe.

• Mediana (p50)1.474,20 ms 308 turnos · candidates.router_v2.latency_ms.p50
• Turno lento (p95)4.317,14 ms 308 turnos · candidates.router_v2.latency_ms.p95

evidence/evaluation-runs/2024Q4-eval-v8/summary.json

Latência de uma reprodução

SimulaçãoReprodução de respostas gravadas do modelo, sem chamadas reais

A execução de resolução reproduz respostas gravadas. Mede o código, não o modelo. Não a compare com a latência real.

• Mediana (p50)0,64 ms 56 turnos · system.router_v2.latency_ms.p50
• Turno lento (p95)1,09 ms 56 turnos · system.router_v2.latency_ms.p95

evidence/evaluation-runs/2024Q4-resolution-v2/summary.json

Custo

SimulaçãoChamadas reais ao modelo sobre casos de simulação

Preço total das chamadas reais de cada roteador sobre os mesmos turnos. Os preços vêm da biblioteca de modelos da Fireworks, como registra a decisão sobre os modelos do roteador.

• Roteador LLM, versão finalUSD 0,04141 por 308 turnos · candidates.router_v2.cost_usd.total

evidence/evaluation-runs/2024Q4-eval-v8/summary.json