🔬 Hermes Router Bench

2026-06-12 · Subagent LLM 路由决策表 · 3 次历史样本
4 tasks 4 providers on-device优先
📊 Benchmark 决策表

综合分 (0-100, 高=好)

Task \ Providerminimaxollama_hermes3ollama_qwen3ollama_gemma4ollama_qwen35_TRAPWinner
---------------------
simple_typo❌100 (2.44s)100 (7.22s)100 (9.27s)❌**ollama_hermes3**
test_generation❌100 (8.95s)0 (32.68s)100 (26.61s)❌**ollama_hermes3**
self_review❌100 (4.13s)100 (22.09s)100 (21.31s)❌**ollama_hermes3**
multi_file_refactor❌100 (6.86s)0 (65.04s)77 (22.08s)❌**ollama_hermes3**

延迟 (秒, 低=好)

Task \ Providerminimaxollama_hermes3ollama_qwen3ollama_gemma4ollama_qwen35_TRAPFastest
---------------------
simple_typo❌2.44s7.22s9.27s❌**ollama_hermes3**
test_generation❌8.95s32.68s26.61s❌**ollama_hermes3**
self_review❌4.13s22.09s21.31s❌**ollama_hermes3**
multi_file_refactor❌6.86s65.04s22.08s❌**ollama_hermes3**

决策建议

**simple_typo**:

首选: `ollama_hermes3` (100 分, 2.44s)

备选: `ollama_qwen3` (100 分, 7.22s)

理由: 短文本 + 单一改动, 端侧 qwen3/hermes3 速度快够用, 云端浪费

**test_generation**:

首选: `ollama_hermes3` (100 分, 8.95s)

备选: `ollama_gemma4` (100 分, 26.61s)

理由: 需要语法正确 + XCTest API 知识, hermes3 验证 codegen 之王

**self_review**:

首选: `ollama_hermes3` (100 分, 4.13s)

备选: `ollama_qwen3` (100 分, 22.09s)

理由: 评分要确定性, temperature=0 + JSON 强制的端侧最稳

**multi_file_refactor**:

首选: `ollama_hermes3` (100 分, 6.86s)

备选: `ollama_gemma4` (77 分, 22.08s)

理由: 长上下文 + 多文件理解, 云端大模型优势明显, 端侧易丢上下文

🚨 漂移检测结果 
[2026-06-12 15:30:07] ✓ History appended: /Users/you/.hermes/router-bench/history.jsonl (       3 entries total)
[2026-06-12 15:30:07] === Drift Detection ===
Comparing 3 runs (3 entries)
✅ 无显著漂移
[2026-06-12 15:30:08] === Done ===
[2026-06-12 15:30:08] 📨 通知已写到 /Users/you/.hermes/router-bench/notification.txt
[2026-06-12 15:30:08]     (cron deliver=origin 会自动推到当前 CLI)

阈值: 综合分变化 ±15 即告警

📖 选型依据 & 已知问题

当前最佳 (本次跑)

已知坑 (2026-06-11)