TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於台南金華路，Minolta XD，MD 28mm，Fujichrome Sensia III)
使用相機：Minolta XD with MD 28mm f2.8 & MD 75-150mm f4
使用底片：Fujichrome Sensia III (RA3) 過期原裝片 24 張
沖掃店家：公館五色鳥
年初一清晨，太早起，於是揣了相機出門散步，沿著小時候上下學的路線，就到了母校協進國小。天色仍未全亮，操場上運動人還不多。
在校園裡隨意晃盪，跑道上的 PU 感覺很高級，很像細紅土的質感，這樣跌倒應該不會像以前紅土和舊式 PU 跑道那麼痛吧。
在學校裡隨意拍拍鳥，拍拍植物，那天早上的雲還蠻美的，約莫七點等老爸來運動時才回家。
離開協進國小，走民生路回家的時候，有一條狗跟著我，散步有個伴也不賴
然後又繞過去運河邊，天知道為什麼清晨拍起來像黃昏一樣...
想拍飛機但快門不夠快，失敗
亂走亂拍一陣之後，回到家，卻因為沒帶鑰匙出門被鎖在門外半個小時，等老爸運動回來才進得了門，早知道會比老爸早回來就跟他先拿鑰匙回家。
到家以後大家才差不多都起床，然後帶 Angel 在佛廳拜拜
Angel 和阿祖
都拜好之後，Angel 跟阿嬤來張合照吧
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！