TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(上圖來源： Pentax Micro-Four-Thirds 17mm F2.0 lens patent ) 消息指出，Tokina 將在 PMA (2011 年 11 月) 發表兩顆 M43 鏡頭：17mm f/2.0 和 8-16mm/3.5-4.5，由於眾所週知近年來 Tokina 跟 Hoya Pentax 有著密切的合作關係，2009 年共有六支兩家合作掛 Tokina 品牌推出的鏡頭：AT-X Pro 12-24mm f/4.0、AT-X Pro 16-50mm f/2.8、AT-X Pro 50-135mm f/2.8、AT-X 10-17mm f/3.5-4.5 fisheye、AT-X Pro 100mm /2.8 macro，以及 AT-X Pro 35mm f/2.8 macro (雙方合作推出的鏡頭 wiki 上有寫： http://en.wikipedia.org/wiki/Tokina )，再加上先前有一篇日文的 Rumor 指出 Pentax 申請了三顆 M43 鏡頭的專利，其中就有一顆 17mm f2.0 (即上圖來源： Pentax Micro-Four-Thirds 17mm F2.0 lens patent )，不免讓人想像，這顆 17mm f2.0 跟 Pentax 有沒有關係啊？ 消息來源： 43rumors 之前寫 K-7 感想 那一篇，那是 Pentax 剛被 Hoya 接走的時候，那時候我有提到 Pentax 或許可以成為多家廠家的鏡頭提供者 (所以看起來 Tokina 是 Pentax 做其他廠家鏡頭的白手套？)，被 Hoya 接手之後推出的 k-x，全新的策略，低價多彩機身的確搶下不少入門和年輕用戶，銷量也算是亮眼，高階的 APS-C 賣得不好，不過產品線中位階最高的 Pentax 645D 好像又有賺錢，之前看過的某篇 HOYA 的財報指出在推出645D 的第一季將達損益平衡(?)，這樣看來是穩下來了 (雖然鏡頭價格漲得讓人不敢恭維)，然後就看到 Pentax 要推出 EVIL 的消息 ，而且官方又強調要搞得跟別家不一樣，不免讓人擔心，在這塊市場競爭者日眾的情況下，Pentax 能否在這塊感覺已經在拼價格的市場成功殺出，不過推出可以 換殼 或者 堆積木 的數位相機倒也是只有 Pentax 敢玩，我想應該沒...