TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
今天早上先把 MZ-3 交給朋友，雖然多養一台 MZ-3 不會佔太多空間，不過我想還是先轉手給需要的朋友，留著在防潮箱也蠻可憐的，有了 MZ-L 之後，也就很少帶 MZ-3 出門了。 跟來面交 MZ-3 的朋友很開心地聊了大概四五十分鐘，想說趁著年前，牽小白去德勝換機油，順便請師傅幫忙看看車子暴衝的問題。 早上十一點應該算是德勝比較沒有客人上門的時間了吧！不過還是來了三個客人，聊到師傅之前帶的徒弟因為要去當兵，所以就不來上班了。 然後話題大概進入，現在當兵時間那麼短，根本沒必要趁著當兵前去玩個痛快，不過年輕人嘛，進軍中即使已經不像以前那麼可怕，但總是失去了一丁點的自由。 其中一位客人說，我當兵八年，．．．．，我想他大概至少是連長退伍之類的吧！ 師傅說，對啊，現在當兵最多一年兩個月吧！ 然後我的車修好，師傅幫我洗洗小白，別懷疑，換機油有洗車服務，德勝每次都要排隊，服務做得好，價錢不會亂開，車子不會亂搞，生意當然會好。等師傅洗車的時間，我繼續在那裡有一搭沒一搭的聊著，而且以我的輩份跟下士的職級，我想還是低調點，不知道差人家幾千梯，有一股尊敬感油然而生，大多是微笑附和，不敢放肆。 老闆大概是聊到之前那個徒弟散散的吧！當兵可能也會被操，然後那位長官客人就說，我絕對不會讓人在我的連隊裡混，我五十多歲．．．，當年．．．．。老闆說，阿我也五十多歲，我們老了啦，現在年輕人有年輕人的想法，然後轉頭問正準備騎上乾淨小白回家的我，「對否？肖年咧？」 我很上道的答道：「是！學長！」，博得滿堂彩。 我想，要改募兵制了，當兵，也許不再是男人之間共同的回憶和話題，女生可能會覺得總算不用聽男生說當年勇了吧！而且現在又有女憲兵、女蛙人，都比我們男人勇了！實在是沒什麼好拿來說嘴的了！ 我只能依稀想起值星時晚點名的報告詞，「值星班長下士ｏｏｏ報告，陰道ｏ人，食道ｏ人．．．．」