TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (瞎了的導盲犬) 標題 : 狗兒花仔 時間 : Sun Nov 4 02:56:57 2001 狗腿花，這條曾經集三千寵愛於一身的名狗，如今卻淪落於屈臣氏與 永和豆漿滷味前，落莫喪志全寫在那張原本純真無邪的臉上，著實令 人心疼不已。 暑假結束前的事吧，我送老婆到學校開會，路上巧遇花仔，深怕這孩 子傻傻地跟進客喜康開會，於是我技巧性地將他引開，帶他坐上小Ｆ （別懷疑，就是當年那台氣質非凡的淑女車），轉呀轉沿著大誠高中 ，過了木柵動物園再繞回頭回到政大側門抽水站，沿路他就像個好久 沒出門玩兒的孩子，緊挨著我的大腿，側頭吹風享受那久違的風馳電 掣。 回到政大，下了車，一時之間也沒地方去的我，就這麼一個勁兒的往 河堤走去，這孩子也不知為何的跟了過來。那時候是納莉那瘋婆娘還 沒來之前，河堤在經過去年颱風的重創之後，總算恢復那股綠意盎然 ，而我在這迎面一陣舒爽的風中，靠了把石椅，坐了下來。 花仔先是跳上我坐剩下的另一半石椅，趴下來陪我看著這條默默陪了 我整整四年的大水溝及這水溝旁的一草一木，然而按奈不住的他終於 是跳下了石椅，直往河堤邊的垂楊奔去，興奮的他跳起了輕快愉悅的 舞步，沿著這片草綠色的天然舞台，我看到他久違而燦爛的笑，我也 笑了。 頃刻間，我像極了帶著兒子散步的父親，坐在一旁看著孩子天真無邪 的笑，彷彿我也回到了童年。 玩累了的他拖著疲憊的兩雙腿，再度跳上為他留下的座位，兩腿交叉 ，頭一沈便靜靜的進入了夢鄉，而我則坐在他身旁一面為他擦乾玩濕 了的頭髮，一面為自己即將消逝的大學生涯，試圖抓住些許淡淡甜美 的回憶。 -- ※ Origin: YKLM大學 ◆ From: nccu.edu.tw