TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(Ricoh KR-10 Super，Schneider-Kreuznach Retina-Xenon 50mm f1.9 DKL，Perutz Primera 200)
阿華，內心傳統保守，職場表現亮眼的女性。
五年前，阿華愛上了另一個女孩，漸漸疏離，最後狠心抛棄當時已經交往五年，深愛著她的女友，愛蓮。
新的戀情並沒有持續太久，阿華換掉手機號碼，搬離原來住的公寓。即使圈子裡的密友告知，愛蓮苦苦打探著各種可能的連絡方式，也未曾想過回頭再續前緣。
再過了半年吧，得知愛蓮和傑爾結婚的消息，驚訝之餘，總算能了卻她心中那點難除的罪惡。
阿華很愛一個人去看電影，專挑冷門，就愛獨佔放映廳，難過時甚至可以放聲大哭的特別權利。
喜歡植物，卻不怎麼愛照顧它們，上個月佈置好的那一批枯萎了，陽台又會再有新的植物報到。
栽植的花朵總是來不及綻放，於是情鍾印有各式花朵的衣裳。
這些年，家人老是急切催促著她趕快找個對象，阿華被逼著參加過好幾次長輩們安排的相親，在長輩的監督下，好聲好氣地接過不少相親對象的電話關心問候，或者相約出遊，內心的無動於衷絕非言過其實，一次又一次，虛應著故事。
美好的單身生活，實在是自在得讓人難捨阿！
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！