TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於永和四號公園，Minolta 707si，Minolta AF 50mm f1.7，Kodak UltraMax 400 減半格拍正常沖)
使用相機：Minolta 707si (大部份是用 Minolta AF 50mm f1.7)
使用底片：Kodak UltraMax 400，減半格拍正常沖
沖掃店家：公館五色鳥
拍太久了，幾乎忘記哪裡拍的或是用哪顆頭拍的，印象中主要是想試 AF 50mm 的底片表現，但是也只能大致回想哪些應該是 Minolta AF 50mm 拍的。現在 Minolta 707si 加上手把，算是夠大型的了，每次出門都得要準備扛一堆小孩東西，到最後就會又把這台放回防潮箱，就這樣讓這捲拍了大半年才拍完。
底下就先挑一些 Minolta AF 50mm f1.7 拍的照片》
某天早上出門前，Angel 自己把我們用來揹她的揹帶套上去，催促我們動作加快。
這是 Angel 比 Ya 的動作，Like no other，她向來選用的是大姆指跟食指，很有個性。
上個禮拜父親節回台南，星期六去興達港買海鮮，對 Angel 來說應該是很新奇的體驗。
試吃最少都是一整尾喜相逢，一大塊炸螃蟹，如果從市場頭試吃到市場尾，大概就飽了吧。
再來是測試轉接 Pentax M42 S-M-C Takumar 24mm 拍的照片》
台南海安路．藍晒圖
也是台南海安路
底下是在玉井果菜市場
其他照片請至：Minolta Alpha 707si vol.6
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！