TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (離開吧.. 也許) 標題 : YKLM校史最初版 時間 : Fri May 21 20:19:51 1999 猶記得那是個月黑風高的夜晚..... 三個人.... 黑板上.... 寫著教育系主機大計劃... 內容是讓三台電腦除了 case 是屬於主人的以外... 裡面的內臟部分完全對調.... (嗚.. 我可愛的老婆..) 然而此計劃的目的便是為了個什麼 YKLM 創校第一版... 當時年幼無知的我.... 就這樣被捲了進去... 於是由計劃敲定的隔天深夜起... 原本寧靜祥和的 5209 電腦室... 出現了堪稱系史上最不人道的一頁... "ㄍㄢ`!!! 你白爛哦... 插錯了啦... 給我拔起來再插一次" "靠北.... 你這裡打錯了啦.... 罰你買碗麵回來.. 快去.. 還有阿薩姆奶茶.." .............. 故事內容太過血腥暴力... 為顧及教育系師生整体形象之維護... 酌量予以刪除...... 經歷一番寒風刺骨的煎熬.... 經過七七四十九天的測試.... 終於建立起初步的規模.... 一個站長... 六七個版主... 十個版.. 這裡倒底賣什麼藥... 除了每次上站都會看到的進站畫面以外.... 就是幾乎每次進站都出現的 "目前上站人數: 0人" 以及有點冷清的幾個版面.... 這時大家的心中一定懷疑起... 這樣的站有可能活得下去嗎?? 令人驚奇的.... 這個站奇蹟似的存活了下來... 一段時間..... 在幾個極度無聊的 YKLM 大學生到處拉客的行動之下... 各大 BBS 站在極短的時間內連續被放了好幾個動態看版.. 曾經一度造成全台灣轟動一時的話題..... 到底什麼是 YKLM 大學..... 大致是宣傳有一個很希望人家來的站... 沒...