TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
我不是個咖，也沒去投票，就當我是個愛當事後諸葛的旁觀者吧。 六比四，是一個看似差距不大卻實具意義的比數。 我們知道人民望治，渴望同心向前。得到執政舞台卻無法帶給人民期待，人民有權用選票，評比執政者的結業成績。水能載舟，亦能覆舟，這是人民的勝利。 人民的選擇，不是單向的完全認可某個陣營的作為，投下選票的瞬間，不是簡單的是或否的選項而已，然而選票卻只能0或1的簡單呈現，而讓勝利者驕傲、優越，認為所有的行為，都得到了人民的認同。身為旁觀者，我並不渴望慶祝理所當然的勝利，不希望細數選票的差距，我衷心的希望勝利者真心為民，為台灣領航。 八年來，執政者沒有太多發揮的空間，在野者仍有絕大干預的權利。從現在起，執政者有著咨意出手的絕佳舞台，這是人民對八年空轉的妥協，卻不是認可。 我相信，多數民意可能演變成粗暴民粹，少數意見可能才是社會進步的重要力量，惟有反省、謙卑是千古不變的真理，沒有永遠正確、永遠不變的真理，即使科學也一再推翻，這才是人類進步最重要的力量。 學會尊重敵人，友善誠懇，是今後台灣社會要學習的重要課題，這是成熟民主的下一步。 求知、誠實、坦蕩。我們需要這樣的政治人物，勇於認錯反省，而非敷衍塞責，巧言爭辯。 難道政治人物非得失去了人民所給予的舞台，才願謙卑的傾聽人民。失敗者如果願意，找回讓人民感動的魂，四年後仍有可為。 停止互鬥，同心向前，真心的希望。無論如何，四年後，偉大的台灣人民仍會再次相聚，決定我們的未來。