TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於台北欣葉餐廳，Sony A450，Minolta AF 50mm)
到外面餐廳用餐，美食通常伴隨著迷人的氣氛，擺設、服務、食材，缺一不可。
不過，若不是工作，這通常不會是我的選項，路邊攤的氣氛就夠我享受的了。
此次全程使用 Sony A450 和 Minolta AF 50mm f1.7 New，Sony A450 在複雜光源下的 AWB (自動白平衡) 讓我感到滿意，撇除暗處在沒有對焦輔助燈的情況下仍會判斷失準或對不到焦 (大概要拍這種活動的場子，找一支有支援 ADI 的閃燈還是需要的，這次其他拍人物活動的照片只勉強用內閃在撐)，整體來說是良好而順手的。
年初開始接觸 Minolta / Sony 的系統，目前小弟有兩顆定焦鏡的陣容，都是 Minolta AF 的二代鏡，分別是 AF 28mm f2.8 New 以及 AF 50mm f1.7 New，以我的拍攝習慣，其實已經足夠，之後或許會來物色一下 Minolta AF 100mm f2.8 Macro New，玩玩微距。
底下順便分享幾張在欣葉餐廳用 AF 50mm f1.7 New 隨手拍的照片，Jpeg 直出，皆未打閃：
這顆鏡頭拍的照片，我會持續在 Flickr 上更新：Set of Minolta AF 50mm f1.7 NEW
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！