TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : Zeng (鋼琴在貓上睡著了~~)
標題 : 學顧培訓計劃番外篇
時間 : Tue Aug 31 16:55:43 1999
學顧培訓計劃內容大綱之番外篇 --拒絕公開版
--------------------------------------------------------
原文作者：廖祐宏先生 原文修改者：學顧培訓小組另一成員
--------------------------------------------------------
前言：
學生顧問的工作在政大校園內附有一項特殊使命：盡己之所能的以自己
熱誠和所具備的能力來解決所有的使用者在計中的環境下，可能發生的
問題。雖然我們所強調的是熱誠，但是如果沒有足夠的技術和知識，你
的熱誠在這邊將無法為使用者來提供有用服務。在學顧的培訓過程中，
我們所要給各位的，不是增加各位的服務熱誠，而是在你工作中，拿來
服務同學的工具：技術。
技術是一個廣泛的名詞，特別是在變化快速的電子計算機領域。我們希
望各位所能具備的，不是高深的技術，而是能提供使用者諮詢的一般技
術。讓來參加學顧培訓的同學，能從消費者(買紙的人)轉變成推銷員
(替計中賣紙的人)，是我們培訓的目標。而讓各位來參與培訓的同學
，能從培訓的過程中有所成長，是我們每個培訓小組的成員共同的期許。
我們把我們培訓的內容，分成以下三大類：
功能強大的神奇靜電抹布
1.撥 --撥一撥您的秀髮
2.彈 --彈一彈您手裡抹布上的灰塵
3.抹 --輕輕柔柔地把電腦上的灰塵抹去
4.吸 --據說抹布有靜電可以自動吸灰塵，根據本人測試結果
證明計中的灰塵体重過重，需瘦身！
最人性化設計的午間休息專用桌
1.吃中、晚餐 --通常值微四中午或晚上六點的班，有這個桌子真是十分地方便。
2.我想睡午覺 --有些人有睡午覺的習慣，但由於值班之故而犧牲了寶貴的睡眠，
沒問題，計中早就為您想到了這一點！
3.考前抱佛腳 --期中期末考前用功念書的好地方，狠一點可以搬出教室外。
最生活化的算錢技巧
1.硬幣疊疊樂 --疊硬幣絕對有技巧，請沿著塑膠盒的四周疊好，
記得湊不足一疊二十個的可以自己留下來打電話用。
2.算術加加樂 --計算總共疊了幾疊，乘法不太會的就用加法，
這項工作預計將甄選具心珠算能力的學顧專任之。
3.送錢到對岸 --錢算好了就得有人負責護送這筆鉅款到對岸的『四行倉庫』去，
通常得具備像當年送國旗的小女孩這樣不畏艱難的精神。
--
※ Origin: YKLM大學
◆ From: 140.119.191.100
標題 : 學顧培訓計劃番外篇
時間 : Tue Aug 31 16:55:43 1999
學顧培訓計劃內容大綱之番外篇 --拒絕公開版
--------------------------------------------------------
原文作者：廖祐宏先生 原文修改者：學顧培訓小組另一成員
--------------------------------------------------------
前言：
學生顧問的工作在政大校園內附有一項特殊使命：盡己之所能的以自己
熱誠和所具備的能力來解決所有的使用者在計中的環境下，可能發生的
問題。雖然我們所強調的是熱誠，但是如果沒有足夠的技術和知識，你
的熱誠在這邊將無法為使用者來提供有用服務。在學顧的培訓過程中，
我們所要給各位的，不是增加各位的服務熱誠，而是在你工作中，拿來
服務同學的工具：技術。
技術是一個廣泛的名詞，特別是在變化快速的電子計算機領域。我們希
望各位所能具備的，不是高深的技術，而是能提供使用者諮詢的一般技
術。讓來參加學顧培訓的同學，能從消費者(買紙的人)轉變成推銷員
(替計中賣紙的人)，是我們培訓的目標。而讓各位來參與培訓的同學
，能從培訓的過程中有所成長，是我們每個培訓小組的成員共同的期許。
我們把我們培訓的內容，分成以下三大類：
功能強大的神奇靜電抹布
1.撥 --撥一撥您的秀髮
2.彈 --彈一彈您手裡抹布上的灰塵
3.抹 --輕輕柔柔地把電腦上的灰塵抹去
4.吸 --據說抹布有靜電可以自動吸灰塵，根據本人測試結果
證明計中的灰塵体重過重，需瘦身！
最人性化設計的午間休息專用桌
1.吃中、晚餐 --通常值微四中午或晚上六點的班，有這個桌子真是十分地方便。
2.我想睡午覺 --有些人有睡午覺的習慣，但由於值班之故而犧牲了寶貴的睡眠，
沒問題，計中早就為您想到了這一點！
3.考前抱佛腳 --期中期末考前用功念書的好地方，狠一點可以搬出教室外。
最生活化的算錢技巧
1.硬幣疊疊樂 --疊硬幣絕對有技巧，請沿著塑膠盒的四周疊好，
記得湊不足一疊二十個的可以自己留下來打電話用。
2.算術加加樂 --計算總共疊了幾疊，乘法不太會的就用加法，
這項工作預計將甄選具心珠算能力的學顧專任之。
3.送錢到對岸 --錢算好了就得有人負責護送這筆鉅款到對岸的『四行倉庫』去，
通常得具備像當年送國旗的小女孩這樣不畏艱難的精神。
--
※ Origin: YKLM大學
◆ From: 140.119.191.100
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！