TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(圖片來源:Google Search) Pentax 今年的 APS-C DSLR 新機策略,主要是在規格上做了一下突破,以往跟不上別人的連拍或者對焦速度,甚至是錄影的影片規格,今年總算是除了追上,還有小小的突破。 HOYA 在推出 645D 之後,據之前看過的某篇 HOYA 的財報指出在推出 645D 的第一季將達損益平衡 (?),加上 K-x 賣得不差,所以 HOYA 敢把規格提升推出高階的 APS-C DSLR,也有新鏡的動作,包括 K-r 也有不少規格上的提升與賣點,感覺 Pentax 在 HOYA 接手之後,母公司本身財務的狀況穩定加上 Pentax 部門的收益有改善,算是成長不少,這是好消息,至少代表 HOYA 有更多的本錢去思考推出新的產品。 之前刊登的 Rumors: Pentax Rumors,使用Sony A580 同一片CMOS,Pentax K-5 | ZOG 除了機身像是維持傳統一樣的每個型的機身出個兩台,像是 K10D、K20D;K100D、K200D;K-m、K-x,K-5 和 K-7 一樣有防水防塵耐候的機身,大部份配件 (電池、手把) 應該都能通用,在內部規格上做出了以下的革新: 一、ISO:標準範圍 80-12800,可擴展到 51200,實際上還是要看可用的工作 ISO 有沒有再加強,但 51200 這個數字看起來還真是誇張,我印象中我連 6400 都沒用到過。 高 ISO 的比較國外論壇有一個討論串,看起來 K-5 到 6400 都還蠻不賴的。 請參考: PentaxForums:K-5 vs K-7 ISO 二、CMOS:K-5 用的是 16MP 的 APS-C CMOS,畫素提升。(據說這次的 CMOS 是 Sony 用在 a55 和 a580 的那一顆) 三、對焦系統:與 K-7 相同的 11 點對焦(中間9點為十字型對焦點),但搭載 645D 等級的 Savox IX+ 對焦系統,在拍攝時還增加了光源類型的計算,在對焦能力上,應該比 K-7 更好。 三、錄影能力:Full HD 25fps 的錄影能力,比 K-7 的 720p 提供更高畫質的影片。 四、連拍速度:7fps,比 K-7 的 5.2fps 更快。 另外,HOYA 同時也發表了一款防水的新鏡頭 smc PENTAX-DA 18-135mm F...