TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
Facebook禮物銀行天天抽好禮，粉絲破萬加碼iPad
喜迎民國100年，Facebook百萬會員現在有福囉！業者推出的「Giftbank禮物銀行」現在大手筆迎賓，只要你有Facebook，趕快加入「Giftbank禮物銀行」，每參加一個活動，完成活動步驟就能馬上獲得「G幣」，可以免費兌換精選好禮，還有機會獲得百貨禮券、免費看電影喝咖啡......，以及把當今最夯的iPad帶回家！
「好東西要跟好朋友分享」，這就是「Giftbank禮物銀行」最大的信念。在這裡，你可以天天看到不同型、超Hot的"網路正妹"，她們會每日一問，只要你留言且轉貼資訊跟好友分享，馬上現賺5點「G幣」，還可以加碼抽獎。
除了和正妹互動，你也可以填寫問卷、參加投票活動賺好康。只要花不到三分鐘完成活動步驟，「G幣」入袋之外，還能抽電影票、五星級飯店餐券等等，讓你玩得開心、也賺得超值！而且只要你夠努力參加活動，就可以更快賺到更多「G幣」，兌換糖果耳機、數位相框、iCash卡、百貨公司禮券等各式各樣的禮物。
為了慶祝「Giftbank禮物銀行」在民國100年開張，現在加入、完成初始的推薦設定，50點「G幣」馬上送！機會難得，動作要快！而且「Giftbank禮物銀行」每個活動都是"限時限量"，動作太慢就得等下一次機會囉！趕快去搶好康：http://www.giftbank.tw/Event/Wall/giftbank.aspx
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！