TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者: zeng (瞎了的導盲犬) 看板: Lonely
標題: 寂寞版之好久不見
時間: Thu Oct 17 13:04:31 2002
曾大哥當兵去了，在這個本人誕生的日子裡，總覺得這樣的日子跟他扯上關係有一種從屁
眼被捅一下的感覺，相當不對勁；想起大學時代這位『這麼照顧』小弟的偉大學長，真希
望他真的能『一路平安』才是啊(意思就是祝你被電!)。
甚久不曾強迫自己寫些什麼，想起當兵的時候每個禮拜唬爛不夠的莒光日記，只嘆這小小
鳥鳥的篇幅怎夠我幹盡天下雞八事。
大學以來，失去了健康，然而卻真正得到了什麼呢？追求自由的我，一股腦地往自己中意
的路上冒進，唯一能支持的似乎只有無助茫然的自己，然而亦只管義無反顧地往前走去，
我從來不愛回頭看過去做錯哪些事，盡發白日夢式地一路往前衝，儘管這一切似有似無的
存在，但人生似乎總在奇妙的機緣之中，不經意地又探進了下一段要走的路。
從參加官田夏令營到有幸被趕出營，人間已是一片秋意濃，我頂著一頭二三分不平長的亂
髮跟著一大票不認識的人回到繁華的台北街頭，我懷抱著一股壯志理想，到處跟質問我回
來要做什麼的人們交待我立志要考研究所的大話，然而支持壯志的動力卻在三天內消滅，
雖然看著管理學的書籍，但心裡卻又做起春秋大夢，又想棄念書這三天前的理想於不顧，
罪過罪過啊！愛唸書的小天使指責我不切實際，而愛做夢、搞玩樂的小惡魔卻義正辭嚴地
說著：『有夢最美，希望相隨。』
在軍中與世隔絕了一個月後，特別珍惜特別想念久未見面的老友和久未回返的像家一樣的
打工處，也難得空出了這麼一大段的時間，讓我能夠稍稍從工作狂的自己跳脫，重新審視
、思考現在的自己，或者是回溫一些久未沈澱的情緒，跟朋友唬爛一些當兵的事，像極了
自己已是當完一年多的老鳥，卻只不過是隻嫩爆的小鳥罷了，連二兵都算不上說。當我終
於體會主流環境所描繪的男人當兵後的模樣，感到一股早就被人看破的嘲諷。
就在大伙自政大畢業之後，整整讓我們質疑了四五年的資訊大樓，學校總算想到要名副其
實了起來，整個四樓滿滿的高科技味，1144 成了可以容納 72 人的主力電腦教室，旁邊
還有可讓使用者自行攜帶筆記型電腦至教室上網的教室等等，不過這倒真的苦了剛回來接
手專任助理的學長，三樓微辦業務量與當年相比真不可同日而語啊，想當年我總在下午就
得開始自己找點事做免得無聊，現在忙到晚上六七點可能只算是小卡司了。
於是賣賣學長面子，一個禮拜大約抽個一天到計中幫忙，本來只是打算賺點微薄的零用金
，把人頭掛在班少的小學顧身上，然後再循非法途徑賺取學校的工讀金，做做母碟，清點
財產，算算零錢，參觀新教室，使用新液晶螢幕，看看檯燈型 iMac...哦，你問我為什麼
沒去賣紙哦，因為現在紙幾乎都是機器在賣了說。
然後，在某個我正在昏睡的早晨，來了一通電話，是張老闆瑪麗小姐打來要推薦我到公企
中心當長期約聘人員，待優；於是我昏昏地寄了個人資料過去，因為當兵時太常寫個人資
料了(大概有一個禮拜都在填個人資料的表單，大概快三十份左右吧，不知道他們為什麼
不複製幾份就好，一點都沒有以前我做報告的效率)，我唬爛得異常順利，本來快要連大
學都忘了念哪間的我，當完兵後居然有這麼大的改變，實在是始料未及呀！
在這裡停筆吧，我的消化工廠沒原料工作了，我得去補點來才行。
--
[1;32m※ Origin: [33mYKLM大學 [37m<YKLM.Dorm5.nccu.edu.tw> [m
[1;31m◆ From: [36m61.56.129.144 [m
[1;33m◆ 修改: [35m02/10/17 13:06:12 [37m<61.56.129.144> [m
標題: 寂寞版之好久不見
時間: Thu Oct 17 13:04:31 2002
曾大哥當兵去了，在這個本人誕生的日子裡，總覺得這樣的日子跟他扯上關係有一種從屁
眼被捅一下的感覺，相當不對勁；想起大學時代這位『這麼照顧』小弟的偉大學長，真希
望他真的能『一路平安』才是啊(意思就是祝你被電!)。
甚久不曾強迫自己寫些什麼，想起當兵的時候每個禮拜唬爛不夠的莒光日記，只嘆這小小
鳥鳥的篇幅怎夠我幹盡天下雞八事。
大學以來，失去了健康，然而卻真正得到了什麼呢？追求自由的我，一股腦地往自己中意
的路上冒進，唯一能支持的似乎只有無助茫然的自己，然而亦只管義無反顧地往前走去，
我從來不愛回頭看過去做錯哪些事，盡發白日夢式地一路往前衝，儘管這一切似有似無的
存在，但人生似乎總在奇妙的機緣之中，不經意地又探進了下一段要走的路。
從參加官田夏令營到有幸被趕出營，人間已是一片秋意濃，我頂著一頭二三分不平長的亂
髮跟著一大票不認識的人回到繁華的台北街頭，我懷抱著一股壯志理想，到處跟質問我回
來要做什麼的人們交待我立志要考研究所的大話，然而支持壯志的動力卻在三天內消滅，
雖然看著管理學的書籍，但心裡卻又做起春秋大夢，又想棄念書這三天前的理想於不顧，
罪過罪過啊！愛唸書的小天使指責我不切實際，而愛做夢、搞玩樂的小惡魔卻義正辭嚴地
說著：『有夢最美，希望相隨。』
在軍中與世隔絕了一個月後，特別珍惜特別想念久未見面的老友和久未回返的像家一樣的
打工處，也難得空出了這麼一大段的時間，讓我能夠稍稍從工作狂的自己跳脫，重新審視
、思考現在的自己，或者是回溫一些久未沈澱的情緒，跟朋友唬爛一些當兵的事，像極了
自己已是當完一年多的老鳥，卻只不過是隻嫩爆的小鳥罷了，連二兵都算不上說。當我終
於體會主流環境所描繪的男人當兵後的模樣，感到一股早就被人看破的嘲諷。
就在大伙自政大畢業之後，整整讓我們質疑了四五年的資訊大樓，學校總算想到要名副其
實了起來，整個四樓滿滿的高科技味，1144 成了可以容納 72 人的主力電腦教室，旁邊
還有可讓使用者自行攜帶筆記型電腦至教室上網的教室等等，不過這倒真的苦了剛回來接
手專任助理的學長，三樓微辦業務量與當年相比真不可同日而語啊，想當年我總在下午就
得開始自己找點事做免得無聊，現在忙到晚上六七點可能只算是小卡司了。
於是賣賣學長面子，一個禮拜大約抽個一天到計中幫忙，本來只是打算賺點微薄的零用金
，把人頭掛在班少的小學顧身上，然後再循非法途徑賺取學校的工讀金，做做母碟，清點
財產，算算零錢，參觀新教室，使用新液晶螢幕，看看檯燈型 iMac...哦，你問我為什麼
沒去賣紙哦，因為現在紙幾乎都是機器在賣了說。
然後，在某個我正在昏睡的早晨，來了一通電話，是張老闆瑪麗小姐打來要推薦我到公企
中心當長期約聘人員，待優；於是我昏昏地寄了個人資料過去，因為當兵時太常寫個人資
料了(大概有一個禮拜都在填個人資料的表單，大概快三十份左右吧，不知道他們為什麼
不複製幾份就好，一點都沒有以前我做報告的效率)，我唬爛得異常順利，本來快要連大
學都忘了念哪間的我，當完兵後居然有這麼大的改變，實在是始料未及呀！
在這裡停筆吧，我的消化工廠沒原料工作了，我得去補點來才行。
--
[1;32m※ Origin: [33mYKLM大學 [37m<YKLM.Dorm5.nccu.edu.tw> [m
[1;31m◆ From: [36m61.56.129.144 [m
[1;33m◆ 修改: [35m02/10/17 13:06:12 [37m<61.56.129.144> [m
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！