TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於碧砂漁港，海功號，Sony A450，Minolta AF 28mm) 在山與海之間，功成身退的海功號在此隱居。 未來，他將成為海洋博物館，為您細訴台灣的海洋奮鬥史。 海功號歷史小檔案 From wiki： http://zh.wikipedia.org/zh-tw/海功號試驗船 海功號是行政院農委會水產試驗所投資建造的試驗船，總噸位七百十一點五公噸，船身長五十六點六公尺、寬九點一公尺，吃水深度三點二五公尺，船高約三層樓。 1975年7月12日下水，1975年12月24日首航，海功號於進行台灣北部漁場試驗調查，曾4度遠赴南極探測南極蝦漁場資源，第1次是在1976年12月，橫渡印度洋，經南非開普敦到南冰洋，帶回百餘噸南極蝦資源，至1993年1月功成身退。1995年台灣省府轉贈基隆區漁會，1998年基隆區漁會移駁海功號上岸，成為碧砂漁港重要地標，為台灣創下許多令人驕傲的歷史紀錄。 海功號執行多達53航次海洋試驗調查，其中以1976年12月2日從基隆遠航南極「恩得比」海域最轟動。這趟南極行前後四個多月，試捕南極蝦，還有記者隨船採訪報導。 [新聞報導] 海功號首航南極33年 危險又神秘 中央社 (2010-06-08 17:51) （中央社記者陳靜萍基隆8日電）「真的隨時會送命」！海功號首航南極時，隨行採訪的前中央社特派員胡宗駒，今天回到基隆碧砂漁港，笑瞇瞇地站上已經斑駁鏽蝕的海功號甲板，昔日的採訪精神彷彿又上身了。 海功號是水產試驗所投資建造的試驗船，曾4度遠 赴南極探測南極蝦漁場資源。 民國65年12月2日，海功號從基隆八斗子漁港出發 ，首航到南極「恩得比」海域進行南極蝦漁場開發。當 年除船員外，還有3名記者及多名漁業研究員隨行，胡宗駒就是隨行採訪的記者之一。 已經從中央社退休的胡宗駒與水產試驗所海洋漁業組研究員王敏昌、前省府漁業局觀察員張明添3位曾登 船參與海功號首航的人員，今天回到基隆碧砂漁港，參 與世界海洋日「海功號30年禮讚」活動。 回想33年前的南極採訪任務，胡宗駒表示，「真是荒唐的旅程」，他說與其他2名記者奉命到南非開普敦港與海功號會合，一起航向南極，但當時船上設備不佳 ，根本還沒準備好就出發。 胡宗駒回想那段採訪行程，對他的人生來說，海功 號隨行採訪的1個月「是印象最深刻的採訪...