TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (我是尿灑在你腳上) 標題 : 努力吧.. 時間 : Wed May 3 16:13:24 2000 昨天林恭談到有關他大學以來「身材變形史」，其中的一小段： 『嗯，另一個原因則是交了女朋友。從前，我一天只吃四餐，早 餐、中餐、晚餐、宵夜，自從大二交了女友之後，由於兩個人進 食時間往往不一致，因此我的飲食習慣居然變成一天六餐，七點 早餐、十點早餐、午餐、六點晚餐、七點半晚餐、外加宵夜.... 。另外還得經常解決女朋友吃不下的甜點、飲料。』 嗯！雖然小弟加入男朋友俱樂部的年資尚淺，但古語有云：『不 聽前輩言，吃虧在眼前』，既之前輩所云似乎為必然發生之情況 ，再往前追溯前輩大一的體力狀況完全凌駕於小弟之上，以整個 發展的起點來看，小弟實屬相當不利，加以小p 這兩個禮拜下來 居然瞬間變瘦、而我垂直上升的情況來看，前輩的預言果然十分 靈驗。 眼前更存在許多問題無法解決，『長得不高並且再也長不高』的 困境依然存在，體形也逐漸趨近於酪梨，不喝啤酒也長出啤酒肚 ，真他媽怪哉，另外還有變帥等煩人的問題纏身！ 改進身材的計劃並非從來沒做過，大二升大三暑假住外面時便開 始了每日伏地挺身計劃，直到迎新營單日狂摔兩次車之後，本計 劃始告中止。前幾日與善迪學弟手牽手去觀賞戀愛講義，看完兩 人激動地流下冷汗，頓悟『沒錢財也得有身材』的真理，當下決 定從星期一開始，每天五十下仰臥起坐、二十下伏地挺身，並且 每日增加五下，預計不出三十天，每天仰臥起坐即突破二百下、 伏地挺身突破一百五十下的規模，偉哉偉哉～ 就從現在開始，一直努力著吧！ -- ※ Origin: YKLM大學 ◆ From: ccs.cc.nccu.edu.tw