TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
鏡頭資料》資料來源:dyxum.com
對焦距離:0.45m - 無窮遠
光圈:f1.7 - f22
口徑:49mm
重量:210g
鏡片結構:六片五群
光圈葉片:七片
視角:46°
生產年份:1985
備註:內建遮光罩
相較於 Minolta 同焦段的 50mm f1.4 那一顆來說,這顆就是窮人的選項,整體來說的評價很優,可以說是沒預算買到 f1.4 或者用不到 f1.4 的人客最適合擁有的標準鏡,全開光圈銳利度不在話下,重點是不貴,相當超值!同樣的也是有紅字 AF 版跟白字 AF 版,白字比較新,都一樣有內建遮光罩,差別在於白字 AF 版的 50mm f1.7 遮光罩拉起之後可以固定卡住,而紅字 AF 版則沒辦法固定。Sony 並沒有復刻這一顆全幅的 50mm f1.7,而是做了一顆 DT 50mm f1.8。
實拍照》
Minolta Alpha 7 + Minolta AF 50mm f1.7 + Fujifilm X-tra 400
Minolta 707si + Minolta AF 50mm f1.7 + Kodak UltraMax 400
Sony A450 + Minolta AF 50mm f1.7
本鏡實拍照片集:Minolta AF 50mm f1.7 NEW
鏡身照》
依支我都玩過!真係唔錯!:)
回覆刪除:)
回覆刪除