TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
我的攝影器材，不定期更新狀態。
相機
Pentax K10D (PK) [2010.02.12 售出]Sony A450 (Minolta AF)
Minolta 707si (Minolta AF)
Pentax MZ-L (PK)
Pentax MZ-3 (PK) [2010.02.11 售出]
Ricoh KR-5 (PK) [2009.09.17 售出]
Contax NX (N Mount)
PENTAX SPOTMATIC F (M42)
Praktica MTL 50 (M42)
ZENIT 122 (M42)
Petri 2.8 Color Corrected Super
Ricoh 500GX
Take One Ultra Wide & Slim
Pentax 330GS
鏡頭
Minolta 自動Minolta AF 28mm f2.8 New (口徑 49)
Minolta AF 28-80mm f3.5-5.6 D (口徑 55)
Minolta AF 50mm f1.7 New (口徑 49)
Minolta AF 100-200mm f4.5 (口徑 49)
PK自動
DA 18-55mm kit (口徑 52) [2010.02.12 售出]
DA 40mm f2.8 Limited (口徑 49)
DA 70mm f2.4 Limited (口徑 49)
FA 28-90mm (口徑 58) [2010.02.13 售出]
Sigma 24mm f2.8 Super Wide II Macro (口徑 52)
Sigma 30mm f1.4 EX DC (口徑 62) [2009.06.03 售出]
Sigma 70-300mm f4-5.6 APO Macro (口徑 58) [2010.01.23 售出]
PK手動
Ricoh XR RIKENON 50mm f2 (口徑 52) [2009.09.17 售出]
M42
Zenit MC APO Telezenitar-M 135mm f2.8 (口徑 58)
Pentacon 135mm f2.8 electric (口徑 55) [2009.09.09 售出]
Zenit Helios-44M-7 MC 58mm f2 (口徑 52)
Pentax Super-Takumar 55mm f1.8 (口徑 49) [2009.08.31 售出]
Pentax Super-Multi-Coated Takumar 50mm f1.4 (口徑 49)
Pentacon auto 50mm f1.8 MC (口徑 49)
Pentacon 30mm f3.5 30/3.5 (口徑 49) [2009.09.24 售出]
Pentacon auto 29mm f2.8 MC (口徑 55)
Pentax Super-Multi-Coated Takumar 28mm f3.5 (口徑 49)
閃燈
Minolta Program 5400HSPentax AF-360FGZ
Panasonic PE-28S
Vivitar THYRISTOR 2500
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！