TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
年初的時候，Dpreview 報導了 Sigma 於 PMA 宣布了 Sigma 發展無反光鏡可換鏡頭相機的計劃，感光元件使用的是 Sigma 自家的 Foveon Sensor (應該是很容易，因為 DP2 的 CMOS 是 APS-C Size)。當然，Sigma 自己有做鏡頭的能力，也會為 EVIL 的產品線推出一系列的鏡頭。
然後，DPreview 的討論區，出現了一個討論串，裡頭有上面這張圖，並且有人提到再過不久就有消息了？！上面這張圖看起來像自己挖掉然後裝上 Leica M Mount 鏡頭的說！
週末就來等這個消息吧！最想知道的是 Sigma 要採用的接環，能不能像 NEX E-Mount 一樣香爐!!
不然就出一個 DP2 DIY EVIL 機套件，還可以讓 DP2 的使用者多一些 DIY 的樂趣，挖掉 DP2 的鏡頭露出感光元件吧！
後記：這圖真的是強者「標準十八度」自行改出來的 Sigma Leica M 接環相機：By 標準十八度：全球首发可换镜头--sigma DP18 徕卡M卡口 (無忌論壇)，好神啊！
感覺挺威的樣子
回覆刪除裝上 Leica 鏡整個都神起來!
回覆刪除Sigma 真是一家有趣的廠商啊。便宜大碗的鏡頭，傳說中的 Fovean X3 感光元件以及備受爭議的電子性能。不過應該不會有人想要用 Sigma 的鏡頭來接 Sigma 的 EVIL 吧 XD
回覆刪除不過即使是用自家較冷門的 SA 卡口，只要電子性能堪用，再配上 APS-C 大小的感光元件，應該還是可以取代 Sony NEX 跟 Canon 成為新一代的香爐爐主。(挺)
剛剛去逛了一下瑋哥的部落格:-)
回覆刪除我對他的 X3 感光元件也蠻有興趣的，但那片濾鏡會擋到一些鏡尾比較突的鏡頭，對於 SA 卡口的轉接不利。
我想如果 Sigma 要進 EVIL，用的感光元件應該是 DP2 的那顆，因為他已經有 APS-C Size Sensor 的高階 DC，預料推出 EVIL 只是挖開來看用什麼接環而已。