TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
是個美麗的意外,並且重新點燃了體內的 Minolta 魂。 先來考古一下。去年寫的這篇: 媽媽很重要之 Minolta 品牌的涵義與公司沿革整理 ,裡面提到: 1947 至 1958 年間,在 135 底片的領域,千代田光學也有以 Minolta-35 為名的 M39 旁軸相機和以 CHIYOKO Rokkor 為名的 M39 鏡頭,採用 Leica M39 接環 (LTM) 在這個二戰後復甦的期間,除了採用 Leica M39 Mount 的 Minolta 35,千代田光學 (Minolta 前身) 也推出了使用 135 底片幾台固定式鏡頭的連動測距相機,像是 Minolta Memo [1949]、Minolta A 系列的 A 、 A2 [1955],接著,Minolta 以 A 系列的基礎,分別設計了可替換鏡頭的 Minolta Super A [1957] 以及 Minolta A-2 LT [1958],兩款則是完全不同的接環型式,可以搭配替換的鏡頭也不同。 這張 1928 – 2005 的 Minolta 經典相機海報,第一排就只出現了兩組 135 相機,分別就是左三的 Minolta 35 [1947],以及右一的 Minolta Super A [1957]。 再看看年份,1958 年Minolta 也推出了第一款 135 SLR 的 SR-2,SR Mount 也是自家設計的接環型式。 因此,在這幾台可替換鏡頭的 135 相機裡頭,最早由 Minolta 自家設計的接環型式,就是這款 1957 年的 Minolta Super A 了! Minolta Super A,獨一無二的接環型式,採用的是插刀式的接口,鏡頭本身沒有景深尺和對焦距離的刻度,是做在機身上的,針對 50mm 標準鏡的刻度,靠著卡住機身的對焦桿來轉動鏡頭的對焦機構,卸載時則是要按下對焦桿上的按鈕。 可以搭配的鏡頭有七顆:(From camerapedia ),自成一套很夠用的小系統! 3.5cm f3.5 Rokkor 35mm wide angle lens, with 4 elements in 3 groups. 5cm f1.8 Super Rokkor 50mm normal lens, with 6 elements in 5 groups...