TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
終於願意爬啦！
我們花了約莫兩個禮拜的時間，想讓 Angel 從趴姿跨出爬行的第一步，不過 Angel 似乎一直在忖跺最佳時機！總是趴了一會兒，就整個人趴下來，手腳一起拍地墊，我覺得 Angel 有遺傳到馬麻的游泳天賦，踢水踢得蠻不錯的！
今天中午馬麻突然發現 Angel 突然對鏡子很有興趣，因此把鏡子放遠一點，鼓勵 Angel 爬過來，於是完成了 Angel 第一次爬行的紀錄！我下班回家後，滿心期待的又試了一次，Angel 終於願意給我們面子，往把拔的方向爬過來了！耶，很開心！
然後又花了一點時間把後面的嬰兒床床墊再往下降一格，想說讓 Angel 在裡頭玩，突然又造就了另一項紀錄，Angel 扶著欄杆自己站起囉！讚！
雖然比起俗諺的「八爬」晚了一個月，但是總算也跨出第一步囉！之前我都跟馬麻開玩笑說 Angel 應該是不想要膝蓋磨到吧，所以不太想爬！
現在客廳要開始來做進一步的防護措施了！
Angel好棒喔會爬了
回覆刪除呵呵
呵呵，是會爬，但還爬得不快！
回覆刪除