TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(圖片來源：http://www.cosina.co.jp/seihin/voigt/v-lens/micro-ft/index.html)
這幾年 Cosina 買下了福倫達品牌，打造了一堆復古的鏡頭及機身，也幫蔡司代工手動鏡 ZS、ZF、ZK、ZE 等等，也因為現在的老闆是個萊卡迷，也生產了 Leica M Mount 機身及鏡頭。
最近的消息是，Cosina 要推出 M4/3 系統的標準手動鏡，Nokton 25mm f0.95，f0.95 的大光圈，是最大的賣點，Olympus 也為 Cosina 的加入，發佈了新聞稿。
此鏡規格如下》
- 焦長：25mm (接上 M4/3 系統換算為 35mm 格式為 50mm)
- 光圈：f/0.95 – f/16
- 最近對焦距離：0.17m
- 鏡片結構：8 群 11 片
- 口徑：52mm
- 重量：410g
- 接環：Micro Four Thirds mount
預計 10 – 11 月上市。
Rumors From：http://www.43rumors.com/cosina-co-ltd-joins-the-micro-four-thirds-system-standard-group/
天啊 ~ F0.95 ... 好大的光圈
回覆刪除很有噱頭，價格也不便宜
回覆刪除之前有國外文章討論到有一支 C-mount 電影鏡，Schneider Xenon 25mm f0.95，要是給我選的話，我會選老鏡。
回覆刪除附上 ebay 拍賣：http://cgi.ebay.com/Schneider-Xenon-25mm-F-0-95-c-mount-M-4-3-Bolex-/130423938852?pt=Camera_Lenses#ht_500wt_1154