TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (瞎了的導盲犬)
標題 : 敘舊
時間 : Tue Jan 15 18:18:09 2002
前幾天孟祺來家裡找我聊天，算一算，快三年沒好好聊聊了。
文化念了快三年，本來去年就可以提前修完學分畢業，也考上中央經濟所，
卻因為体育分數未達七十，而無法如願的孟祺。
政大念了快五年，本來前年就可以提前被二一退學，也可以離開這裡，
卻因為教育系師長的仁心教育情，而無法如願的我。
我問他未來計劃，他說念完清大經濟所要出國繼續念書，當教授教書。
他問我未來計劃，我說要繼續看老闆們臉色，當苦力寫程式。
他謙虛地說因為在計中與我同事時知道自己電腦沒那麼強，所以選擇乖乖念書。
我才是因為不會也不愛念書，所以選擇遠離讀書考試的競爭。
我細想我倆之間分歧的那一點，在於一起很混的那一年，他被二一了，而我
雖苟活曹營，心卻早已在漢。
人生，重要的不在現在的成就有多少？而是知道自己在做什麼。
我，在做什麼？
--
※ Origin: YKLM大學
◆ From: 140.119.44.121
標題 : 敘舊
時間 : Tue Jan 15 18:18:09 2002
前幾天孟祺來家裡找我聊天，算一算，快三年沒好好聊聊了。
文化念了快三年，本來去年就可以提前修完學分畢業，也考上中央經濟所，
卻因為体育分數未達七十，而無法如願的孟祺。
政大念了快五年，本來前年就可以提前被二一退學，也可以離開這裡，
卻因為教育系師長的仁心教育情，而無法如願的我。
我問他未來計劃，他說念完清大經濟所要出國繼續念書，當教授教書。
他問我未來計劃，我說要繼續看老闆們臉色，當苦力寫程式。
他謙虛地說因為在計中與我同事時知道自己電腦沒那麼強，所以選擇乖乖念書。
我才是因為不會也不愛念書，所以選擇遠離讀書考試的競爭。
我細想我倆之間分歧的那一點，在於一起很混的那一年，他被二一了，而我
雖苟活曹營，心卻早已在漢。
人生，重要的不在現在的成就有多少？而是知道自己在做什麼。
我，在做什麼？
--
※ Origin: YKLM大學
◆ From: 140.119.44.121
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！