TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : ZENG (二一列車稍等ㄟ唷) 標題 : 忠治出隊之記(一) 時間 : Tue Aug 10 06:29:57 1999 第一次來到烏來.. 是小學六年級的畢旅.. 再次來到這裡.. 是大二升大三的暑假.. 大山隊十年來第二次更換出隊地點而到這兒出隊.. 然而談到出隊前對這裡的印象.... 腦袋裡除了國小老師說的風景秀麗、風光明媚幾句成語之外.. 卻是一片完全的空白... 出隊的地點是在新烏路旁一段往上的小路.. 風景區以外的忠治村... 這個村落.. 曾是相當有名的安毒之村... 村內打群架.. 喝酒鬧事多不勝數.. 而在此村的出隊.. 也不如以往在澳花出隊的順利... 有國小可以做為我們休息以及辦活動的地點... 一個被住家包圍的小活動中心... 是我們除了上廁所之外的所有活動地點.. 早上睡覺起來把睡袋摺好... 往裡面堆去.... 排好桌子以後便是我們用來課輔的地點.. 或是大地遊戲其中之一的關卡.. 在忠治比較特別的是.... 巴洞們開檢討會及推隔天流程時.. 有醉漢進來共襄勝舉.. 身為生管... 跟他哈啦了幾句... 想哄他出去... 他卻鄭重地回了一句.. 這裡是我們的地方.. 為什麼我不能進來.. 義正辭嚴... 說得讓我不知怎麼應對... 幸虧後來老師出來排解.. 睡覺之前也有醉漢進來關心我們的被子蓋得暖不暖.. 半夜裡還有住在後頭的人家獵了野味... 凱旋歸來.. 據說有人被吵醒... 後來再也沒睡著... 小弟身為生管.. 為了讓大家安心... 開完檢討會便要大家安心地睡.. 我會負責守夜.. 坐在活動中心的樓下.. 等著終於輪到洗澡的二位核心幹部回來.. 也才有機會比大家早些先認識了這裡的三個青少... 這兩位洗澡的大小姐動作相當緩慢... 聊著聊著... 十分鐘過去.. 二十分鐘過去.. 三十分鐘過去.. 四十分鐘過去.. 沒什麼建設性的屁了一堆話... 也親眼見著了不少半夜叫醒商家老闆買酒的酒鬼. 最後懷著一種蠻愉快輕鬆的感覺... 決定不守夜.. 早點睡覺.. 出隊到這兒的第一個晚上......