TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
這個禮拜我跟 Cawa 兩個人努力地幫我們家 Angel 調整作息，讓她從保姆回到家裡後，不要一直睡，盡量撐到十點半以後才就寢，頭兩天還能收到不錯的功效，果然能夠一覺到天亮，再過來兩天是半夜兩點餓到醒來，餵飽後才睡得著。
昨晚，不曉得是不是她知道隔天是禮拜六，我接 Angel 回家後，我吃飯的時間讓她自己躺在我身邊自己玩，她有小睡一下，差不多到八點，然後陪她玩到了八點四十，看她好像餓了，餵她吃完 180cc，大概九點四十，因為她現在有點小厭食，我是分兩段來餵，吃飽後她睡了一個小時直到馬麻值晚班回到家，醒來陪馬麻玩了一下，然後十一點想說三個人就一起睡覺去，沒想到還沒到二點，Angel 就醒了，餵她吃了 60cc，她就不太想吃，換完尿布，聽她唱唱歌，精神可好呢！
後來約五點多再餵一次，這孩子才肯進入夢鄉，早上，我從九點半開始，每半個小時進去叫她起床，呼，真的像馬麻說的，她睡覺跟我一樣，叫不醒耶！
剛剛十一點進去叫她，順手拍幾張照片，然後再花三十分鐘寫完這篇，等下再進去吵吵她囉～
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！