TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於台南市運河邊，中國城戲院前，Pentax 330GS)
台南的小吃，多到數不清，但過年的時候熱門的觀光景點總是擠滿人，加上我們家的人都很會買，這方面我始終沒有在地人的專業，也不會特別想去找新奇好吃的，反正我爸跟我弟會買回來。
我是一直很想念運河邊的黑輪攤，這是我國中時候下課回家必經之地，跟其他兩個同路的同學一起騎車回家，停在這裡，享用黑輪跟熱湯，然後再快活地回家。以前是有相鄰的兩攤，位置固定是在運河邊邊，兩個阿伯一人一攤在賣，國中時候我們兩攤都試過之後，最後都固定到人比較少的那一攤，這樣吃東西喝湯舒服的多。
幾乎除了下大雨，全年無休，十幾年過去，現在只剩下一攤了，換成老闆娘在賣，位置也可能因為對面有環河步道跟小公園之故，移到了中國城戲院前。可喜的是，價格居然沒變耶，仍然是一支五塊錢！真是佛心來著。你看來這裡吃的，都是住巷子內的！
我都是吃一支一支串好的，以前都是吃完跟老闆算幾支竹籤然後算錢，這樣方便。
熱湯無限量暢飲，我每次都會喝上個三五碗的，湯的味道沒以前重了，應該是味精加比較少了，這樣也好。天氣冷的時候喝上幾碗熱湯，爽的咧！
幸福的文章.
回覆刪除幻雲來享受一下.
呵, 有機會回台南記得去試試哦! 便宜又好吃的黑輪攤~
回覆刪除5元難找了，小七也要10元
回覆刪除真是不錯。
價格不變，份量也沒縮水，讚！
回覆刪除