TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(圖片來源:Google Search)
之前的消息中,A560、A580 是和 A33、A55 一起發佈的,不過幾乎只看到 A33、A55 的一些資訊,不過最近已經發現網路賣場也有貨出現了。(不過 A580 的評測目前似乎不多見)
基本上,A560 和A580 主要就是在 A550 的基礎之上加入了錄影的功能,機身上有獨立的錄影按鈕。A560 和 A580 主要的分別在於 A560 採用的是 14.2mp 的 CMOS (跟 A550 是一樣的畫素),而 A580 則是 16.2mp,兩台都延續了 A550 7fps 的連拍能力,A580 有新的 15 點 AF 對焦系統和配備 3 組縱向對齊的十字感應器 (與 A55 相同)。
A580 德國 IFA 2010 的動手玩影片》
Sony Alpha A580 vs. A55 連拍比較影片》
Sony A580 配備了 3D Sweep Panorama 功能和功能加強的 Auto HDR。整體來說,是把 A550 這個等級的機身做一個功能的補完,大概用得到用不到的功能都加進去了,所以還沒買 A550 的人,大概可以考慮直接入手 A580 或者等之後 A750 的推出吧。
網路賣場價格參考》
留言
張貼留言
回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!