TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於台北萬華剝皮寮,Minolta 707si,Minolta AF 50mm,Kodak Max 400 過期底片 2003,減感半格正常沖)
使用器材:Minolta 707si,Minolta AF 50mm,Kodak Max 400 過期底片,減感半格正常沖
沖掃店家:公館五色鳥
這卷底片的保存條件很差,被丟在開放的客廳櫃子裡,台南溫度高,加上客廳沒有冷氣,所以一直是在高溫潮濕的環境下被亂放著。
家裡總共有三捲存貨,去年先拿了一捲,回台北用某台 Premier 傻瓜相機試拍,拍完是像底下那樣:
(攝於台北,Premier M-1600D,Kodak Max 400 過期底片 2003)
感覺底片感光能力已經很差很差,因此這次出發到剝皮寮再次試這捲 2003 年到期的 Kodak Max 400,除了減感半格來拍,大部份在拍時機身還多加了 0.5 EV,整體拍攝條件等於是加 1 EV,儘管如此,還是覺得不太夠,拍攝當天的環境是大太陽天,感覺應該至少要再多個 0.5 EV 到 1 EV 才夠。
底下挑幾張這卷拍的照片:
其他本卷照片:Minolta Alpha 707si vol.5
底下左邊是 Kodak Max 400,右邊是 Kodak UltraMax 400,底片捲外觀印字不同。
留言
張貼留言
回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!