TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (瞎了的導盲犬)
標題 : 學顧的味道
時間 : Tue Jan 15 20:02:23 2002
不知道是不是大家真的是因為一起共穿那些臭不拉嘰的背心，我發現
學顧身上有一股味道，而那股味道似乎會自然而然地傳承下來，給了
一屆又一屆的學顧們。
猶記得大二剛當考上學顧，與我同屬大山隊的孟祺先我一期考上學顧
，當初據說是史上最年輕的學顧，幹掉當年紀錄保持人曾乾明兄。我
們倆有一天晚上同時段在不同教室值班，那時我們總會五點多提早到
計中簽到，手牽手到垃圾攤吃肉絲炒飯，混一混晚個幾分鐘進來上班
。值班時間，偶爾會換個教室值值，Mac 教室可以播音樂，我總愛從
微二溜到那兒聊天聽音樂。這是菜鳥學顧時的我。
大三上開始比較認識一些學長同學們，以前才不會像現在一堆資來資
去的系，無聊透了。
金融系的蔡學長當年有一項讓我們讚不絕口的密技，不過在他拿了滿
滿一顆 2GB的硬碟給某位當年有燒錄機的有錢學長燒出滿滿四片保證
硬起來的圖庫之後，果真是前無古人後無來者，後來也很少聽聞這麼
壯烈的事蹟了。
俄文系廖學長，人很帥，女朋友也常帶來政大，很恩愛，當時單身的
我們大家都很幹。
教育系曾學長，人很雞八，真的很雞八，請見本版前幾篇從海外轉錄
過來的文章，我不想再 post 一遍，最近聽說研究所快畢業，但還是
沒有女朋友。
國貿系黃學長，這學期還跑回來跟我一起上棒球課，說是在台科大太
無聊，回來打打球消遣一下；幾年前在某場教育系與國貿系的比賽之
中，惡狠狠地三振了唯一的一名打者，正是在下。名言很多，因為這
學期跟他打球還蠻熟，據說這輩子唯一的心願就是打到自己投的球。
俄文系賴學長，人長得很肥，但不能說他肥，要說是壯，不然會被壓
，他說我從來沒把他當學長看，我覺得若從這點看來他還蠻聰明的。
俄文系另一位林學長，人很好，女朋友不賴，姿色僅次於小p，也是
一樣常帶著去計中值班，我覺得俄文系的學長都有這種刺激單身男人
的壞習慣，很不好。
資管系黃學長，對待別人相當地好，當年據說就是他發動資管系大動
員來考計中學顧，而引發現今計中資管資科人口爆增現象的關鍵人物
。
另有幾位學長，像心理系蔡學長，國貿系陳學長，資管系胖胖林學長
，人應該太正直了，所以不知道該怎麼介紹他們，希望別見怪；還有
一些學長會因為我太晚紀錄這些事而忘了他們的名字以致沒有介紹到
，也一併道歉，想到我會再補上的。
還有一些同學，當兵的當兵，延畢的延畢，礙於篇幅，留待下篇再記
。
我發現最近想起特別多事，會不會是因為住在老人社區，過一陣子
，或許你們可以直接在巷口找我，我應該正在跟阿伯烤火聊天。
--
※ Origin: YKLM大學
◆ From: 140.119.44.121
標題 : 學顧的味道
時間 : Tue Jan 15 20:02:23 2002
不知道是不是大家真的是因為一起共穿那些臭不拉嘰的背心，我發現
學顧身上有一股味道，而那股味道似乎會自然而然地傳承下來，給了
一屆又一屆的學顧們。
猶記得大二剛當考上學顧，與我同屬大山隊的孟祺先我一期考上學顧
，當初據說是史上最年輕的學顧，幹掉當年紀錄保持人曾乾明兄。我
們倆有一天晚上同時段在不同教室值班，那時我們總會五點多提早到
計中簽到，手牽手到垃圾攤吃肉絲炒飯，混一混晚個幾分鐘進來上班
。值班時間，偶爾會換個教室值值，Mac 教室可以播音樂，我總愛從
微二溜到那兒聊天聽音樂。這是菜鳥學顧時的我。
大三上開始比較認識一些學長同學們，以前才不會像現在一堆資來資
去的系，無聊透了。
金融系的蔡學長當年有一項讓我們讚不絕口的密技，不過在他拿了滿
滿一顆 2GB的硬碟給某位當年有燒錄機的有錢學長燒出滿滿四片保證
硬起來的圖庫之後，果真是前無古人後無來者，後來也很少聽聞這麼
壯烈的事蹟了。
俄文系廖學長，人很帥，女朋友也常帶來政大，很恩愛，當時單身的
我們大家都很幹。
教育系曾學長，人很雞八，真的很雞八，請見本版前幾篇從海外轉錄
過來的文章，我不想再 post 一遍，最近聽說研究所快畢業，但還是
沒有女朋友。
國貿系黃學長，這學期還跑回來跟我一起上棒球課，說是在台科大太
無聊，回來打打球消遣一下；幾年前在某場教育系與國貿系的比賽之
中，惡狠狠地三振了唯一的一名打者，正是在下。名言很多，因為這
學期跟他打球還蠻熟，據說這輩子唯一的心願就是打到自己投的球。
俄文系賴學長，人長得很肥，但不能說他肥，要說是壯，不然會被壓
，他說我從來沒把他當學長看，我覺得若從這點看來他還蠻聰明的。
俄文系另一位林學長，人很好，女朋友不賴，姿色僅次於小p，也是
一樣常帶著去計中值班，我覺得俄文系的學長都有這種刺激單身男人
的壞習慣，很不好。
資管系黃學長，對待別人相當地好，當年據說就是他發動資管系大動
員來考計中學顧，而引發現今計中資管資科人口爆增現象的關鍵人物
。
另有幾位學長，像心理系蔡學長，國貿系陳學長，資管系胖胖林學長
，人應該太正直了，所以不知道該怎麼介紹他們，希望別見怪；還有
一些學長會因為我太晚紀錄這些事而忘了他們的名字以致沒有介紹到
，也一併道歉，想到我會再補上的。
還有一些同學，當兵的當兵，延畢的延畢，礙於篇幅，留待下篇再記
。
我發現最近想起特別多事，會不會是因為住在老人社區，過一陣子
，或許你們可以直接在巷口找我，我應該正在跟阿伯烤火聊天。
--
※ Origin: YKLM大學
◆ From: 140.119.44.121
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！