TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
TL;DR: 這篇寫給不想被雲端 API 掏空錢包、又怕 AI Agent 盲目重構改爆 Codebase 的開發者。我們用 Radeon RX 9060 XT 16GB、Linux ROCm (HIP) 硬體加速，加上 Rust 寫的確定性 2PC 防禦門衛，手刻一套符合 PRM（Process Reward Model）規格的地端零成本 AI 外骨骼系統。 1. 痛點：Agent 狂歡背後的帳單破產與程式碼毀滅 Autonomous Coding Agent（OpenCode、Claude Code 等）大幅改變了開發流程，但附帶兩大噩夢： Token 黑洞與 API 帳單爆表 ：為了確保程式碼品質，Agent 需要頻繁自我思考、多方案比較（Best-of-N）與長鏈修復。幾輪對話下來，雲端 API 帳單直接失控。 確定性缺失（Non-determinism） ：沒有 Guardrail 攔截的 Agent 就像沒導航的賽車——隨時在背景修改全域 Interface、弄爛 DB Schema，甚至產生語法幻覺。 解答 ：我們需要 Verifier（過程監督者）。但大廠論文動輒用 A100 叢集配 vLLM 預分配幾十 GB VRAM，一般開發者負擔不起。我們需要一套在地端 16GB VRAM 上順暢跑的「窮人版 Process Supervision 體系」。 2. 硬體與驅動層：為什麼選 Radeon RX 9060 XT 16GB + ROCm (HIP)？ 在 Homelab / Linux (CachyOS) 環境下，配 Radeon RX 9060 XT 16GB 搭 ROCm Backend 是 CP 值很高的搭配： HIP 矩陣加速與 VRAM 吞吐 ：透過 ROCm 原生 HIP 加速，16GB VRAM 能穩穩咬住 Qwen3.5-9B with mmproj（程式碼語意 + 多模態視覺）。 逃離 vLLM 的 VRAM 黑洞 ：vLLM 預分配 90% VRAM 的機制在單機多任務環境是災難。改用 ROCm 版的 llama-server（GGUF 量化），模型權重只吃 5~9 GB VRAM，剩下的空間還能動態分配 KV Cache，主機照樣順跑其他服務。 0 API 成本 ：2PC（兩階段提交）觸發一萬次 /...