TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
在您調整好一張照片,並且喜歡這個風格,或您套用了原廠或下載下來的 Preset,想要微調並存成自己的風格,底下順便提一下,如何製作您個人的 Preset,並匯出成 lrtemplate 跟別人分享哦! 首先, 最上方工作區切換到「編輯相片」模式(英文版為 Develop) 然後到左手邊的工具欄,按下預設集旁邊的「+」,會跳出新增預設集的視窗 填上您要的預設集名稱,並選擇想要放置的預設集資料夾,一般為了與原廠的區隔,都會放在使用者預設集,或者您也可以新增別的檔案夾名稱,底下的設定,表示您這個 Preset 是用來處理哪些參數的,全部選的話,當您套用這個 Preset 時,所有參數就會全部套用,您可以針對某些參數做一些分類,方便不同的用途,不過若您第一次使用,全選吧,反正之後可以改,別擔心。 很簡單吧!這樣就產生你的第一個 Preset 囉!你可以用另一張剛匯入未做修改的 RAW 檔,套用這個 Preset 試試。 如果你不滿意這個 Preset,你可以做一些調整,然後在剛剛的 Preset 名稱上,按右鍵,在選單上選擇「使用目前設定更新」,之後的步驟就像新增 Preset 時一樣。 當你覺得很滿意了,想要跟別人分享這個 Preset 時,您可以一樣在 Preset 名稱上按右鍵,選轉存,就可以匯出成 .lrtemplate 檔了!