TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
算是心血來潮，從台北火車站走回中正紀念堂站，順路測試這顆鏡頭。 這顆鏡頭是 Pentax 6x7 105mm f2.4，是中片幅相機的鏡頭，配上 6x7 to K 的轉接環，可以轉接到 K Mount 的機身上使用，數位機身 APS-C 加上轉接環之後，焦長的換算也是鏡頭原來的焦長 (105mm) 乘上 1.5，所以裝在 K10D 上，這顆約為 158mm (35mm 等效焦長)。 (霸氣十足的合體照) 碰巧台北火車站好像開始在佈置 2010 台北國際花卉博覽會，還有 490 天。 (是阿菊姐嗎？) 出了東三門，大家都想要照照相。 (誰願意幫我們拍照呢？) (麻煩你了，快門在這兒) (不要動哦，讓我照張相) 說真的，台北街頭能多一點花花草草，是蠻賞心悅目的。 有個阿伯很厲害哦！隨手拿了片葉子就表演了起來, 吹了好幾首歌咧~~ 台北火車站內的便當本鋪 這鏡頭的成色真的飽滿啊！ 細節也很讚！ 火車站附近行人穿越道的紅綠燈有設置擴音器，好像是會放音樂，走太快沒注意聽。 「赫哲」，補習街的知名品牌吧！ 館前路這裡會抓紅燈右轉和兩段式左轉，我記得以前被抓過一次。 還不少人在二二八紀念公園裡休息的，也不少人參觀國立台灣博物館。 至聖先師孔子在這裡罰站，大太陽的很熱吧！ 林森先生在介壽公園裡罰站，沒有流汗真厲害！ 從國家圖書館那邊往自由廣場拍。 一次帶三隻狗出門散步。 這家胡椒餅好像很有名吧！但是我沒吃過。 二樓爭鮮的店員在對面南門市場拉客。 最後，省下了 20 元，回到中正紀念堂三號出口，我右手小臂一年來消失的小肌肉又出現啦，哈哈！ 更多照片： Flickr 2009.07.04 散步台北