🔬 Hermes Router Bench

2026-06-14 · Subagent LLM 路由决策表 · 4 次历史样本
4 tasks 4 providers on-device优先
📊 Benchmark 决策表

综合分 (0-100, 高=好)

Task \ Providerminimaxollama_hermes3ollama_qwen3ollama_gemma4ollama_qwen35_TRAPWinner
---------------------
simple_typo100 (2.18s)100 (3.6s)100 (9.65s)100 (10.18s)❌**minimax**
test_generation❌100 (8.34s)0 (36.32s)100 (26.0s)❌**ollama_hermes3**
self_review70 (9.0s)100 (15.26s)100 (20.56s)100 (19.22s)❌**ollama_hermes3**
multi_file_refactor77 (5.42s)100 (5.76s)0 (96.13s)77 (18.98s)❌**ollama_hermes3**

延迟 (秒, 低=好)

Task \ Providerminimaxollama_hermes3ollama_qwen3ollama_gemma4ollama_qwen35_TRAPFastest
---------------------
simple_typo2.18s3.6s9.65s10.18s❌**minimax**
test_generation❌8.34s36.32s26.0s❌**ollama_hermes3**
self_review9.0s15.26s20.56s19.22s❌**minimax**
multi_file_refactor5.42s5.76s96.13s18.98s❌**minimax**

决策建议

**simple_typo**:

首选: `minimax` (100 分, 2.18s)

备选: `ollama_hermes3` (100 分, 3.6s)

理由: 短文本 + 单一改动, 端侧 qwen3/hermes3 速度快够用, 云端浪费

**test_generation**:

首选: `ollama_hermes3` (100 分, 8.34s)

备选: `ollama_gemma4` (100 分, 26.0s)

理由: 需要语法正确 + XCTest API 知识, hermes3 验证 codegen 之王

**self_review**:

首选: `ollama_hermes3` (100 分, 15.26s)

备选: `ollama_qwen3` (100 分, 20.56s)

理由: 评分要确定性, temperature=0 + JSON 强制的端侧最稳

**multi_file_refactor**:

首选: `ollama_hermes3` (100 分, 5.76s)

备选: `minimax` (77 分, 5.42s)

理由: 长上下文 + 多文件理解, 云端大模型优势明显, 端侧易丢上下文

🚨 漂移检测结果 
[2026-06-14 07:47:36] ✓ History appended: /Users/you/.hermes/router-bench/history.jsonl (       4 entries total)
[2026-06-14 07:47:36] === Drift Detection ===
Comparing 4 runs (4 entries)
✅ 无显著漂移
[2026-06-14 07:47:36] === Done ===
[2026-06-14 07:47:36] 📨 通知已写到 /Users/you/.hermes/router-bench/notification.txt
[2026-06-14 07:47:36]     (cron deliver=origin 会自动推到当前 CLI)

阈值: 综合分变化 ±15 即告警

📖 选型依据 & 已知问题

当前最佳 (本次跑)

已知坑 (2026-06-11)