TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
相關新聞：
Mobile01
Engadget 中文版
DCView
很多人都在等 Panasonic DMC G1 的下一代版本，因為還沒推出就已經預料會比 G1 多出錄影功能，多少也造成 G1 沒人出手去買，說實在的，D90 推出的時候，想到 DSLR 被用來當攝影機，拍攝者樣子還蠻難想像的，我記得還有廠商(楔石)推出 DSLR 肩架套組。
GH1 的重量 385g，與 G1 完全相同，以重量來說，拿在手上只比老婆的 Panasonic LX3 (229g)重了約 150g，說實在是蠻輕巧的。增加了錄影功能並且上市時間如此接近，就好像唱片賣的好的歌手會再出一張不同封面的 CD，有些歌迷就是一定得通通收齊才爽，但是對於原本已買了 G1 的人應該覺得很幹吧，半年前手癢買的 G1 得轉手賣了吧(有錢人就再買一台 GH1 吧)
哪裡有現貨可以玩啊?!
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！