TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
Sony Rumors 的報導,傳說中的 Sony SLT FF 將於 2012 年初推出,與近期將推出的 Nikon D800 會使用同一片感光元件,Sony Rumors 的說法是,Sony 會先給 Nikon 使用這片感光元件,然後在明年初推出自己新一代的全幅機種,據說價格會比 D800 低。
相關報導:(SR4) Sony FF with 36 Megapixel sensor coming early 2012 (Nikon D800 with same sensor).
由於之前 Sony 日本官網也已經標示 A900 “生產完了”,再搭配之前 Sony 已宣布未來將只推出 SLT 的機種,也就是說,在使用同一片感光元件的情況下,Sony 新的 FF 機身目前與 Nikon D800 最大的分別,將是 Nikon 仍使用傳統的光學觀景窗,而 Sony 則是使用電子觀景窗。
繼續期待後續的評測再決定買 Nikon 還是 Sony?或者準備出手買停產後的 A900?
先買a900再買後代機:D
回覆刪除Re: ryu yu <8699670619718268745>
回覆刪除:-)
三千六百萬畫素,感覺真棒。
回覆刪除Re: 臺灣沈 <4107580008379715311>
回覆刪除吃記憶卡的怪獸。
在大家瘋無鏡單反的同時,終於還是有人(公司)再給全幅機推一把了。
回覆刪除Re: Humble Land Gardener <7270562206563251165>
回覆刪除話說,不知道何時才會出現全幅無反呀?