TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
暫停交換連結申請，反正也沒什麼人想跟我換。
交換連結區
- 偉士牌的實驗室
- 簡單生活Easylife
- 美學設計1355
- 大腸麵線阿米GO
- 免費訊息軟體下載
靖．技場
- Dis Continu Ous Mind
- DailyFocus每日拋
- 月光下的嘆息！
- 凱特打結該該叫
野兔村
- 發現生活的價值
- 馬諦斯的放大鏡
- JustFly::JustBlog
- 硬是要學！
- 綠色工廠 Easylife Blog
- 玩物尚誌
- 海芋小站
- 高登工作室
- Sinchen部落格
- 就是教不落
- 網路行銷專家
- 網路好康誌
- 皮膚醫生
攝影類推薦
- GB LIFE STYLE
- 馬丁の映像攝區
- 甲木誌
- 天天原野綠
- 貓僕雜學誌
- Raindog's shutter button
- 阿婷‧拍不停
- 秋之聲
- 假微溼別拍了
- Andrew[4x6] Gallery
- 一個人的旅行
- Max Chang 銀鹽暗房工作室
- 誠 的部落格~~
- sheesen 影像文字勞騷我的家
- 【 捉得住：什麼影 】
- Froch 的藍色天空
- Kevin's Shot
- 光影手工暗房工作室
Hi Jimmy, thanks 4 being my friend, pls visit my site if you have time thanks.
回覆刪除thanks for coming here.
回覆刪除hello0o my friend thanks for adding my site http://moneymakingsys.blogspot.com/
回覆刪除@acmmech,
回覆刪除You're welcome! thank you too.
你好啊~真是不好意思，其實我的部落格已經長菇囉~"~....
回覆刪除如果你要交換連結的話，你可以跟隨手玩小遊戲做交換連結
我那邊仍然會幫你掛上側欄。
而你這邊可以直接把我的部落格撤掉沒關係。
如果你願意的話，請至我的部落格留言。
http://westsun77.pixnet.net/blog
並請你至隨手玩小遊戲做交換連結。
http://www.free2play.cc/node/8124
(這是我朋友，我直接跟他說即可，不過還是要你有意願啦...呵呵)
就這樣囉~感謝你
豪哥
感謝豪哥, 我也已經加上隨手玩小遊戲的連結了, 再麻煩您在您兩位的站台幫我加上連結, 感恩~
回覆刪除無意發現有這麼好的blogger資源，很開心!!!
回覆刪除我的部落格也是google的，麻煩交換連結囉…感恩…
http://design1355.blogspot.com
hello design1355，已經加入囉 :D
回覆刪除大大您好
回覆刪除我想與貴站申請交換連結了!!
我已在網站上放上貴站的連結囉
在這兒：http://aggga.net/links
並在每頁的側欄隨機。希望能與您交換連結..謝謝您唷^^
站 名：大腸麵線阿米GO
網 址：aggga.net
描 述：
長毛臘腸，麵線與阿米GO的生活記錄！並記念最愛的大腸！還有一些我的生活，工作，單眼與美食！吃。喝。玩。樂！生活哲學，我的人生有啥，這部落格就記錄著什麼…
hi 大腸麵線拔，已經幫您加入連結囉。
回覆刪除這樣子留言就可以了嗎？
回覆刪除所以您是要交換您"阿達猴 的blog"的連結嗎？可否請您也置放了對應的敝站的連結之後，我立刻會置放上去的，感謝您的留言。
回覆刪除Hello, 想跟貴站交換連結~
回覆刪除網站名稱:酷遊戲樂園
網址:http://www.cool.game.tw
簡介:我的遊戲我做主,千款遊戲任你玩,可自行分類,收藏,管理,最酷的遊戲庫就在酷遊戲樂園
連絡人:mini.service@gmail.com
貴站的連結已經加在
http://www.cool.game.tw/links.htm
米奇您好，我還沒看到在貴站的連結，不過我已先將您的網站加入側邊欄的弱格之友。
回覆刪除網站名稱:鼎烽二手家具
回覆刪除網址:http://tw.myblog.yahoo.com/k0930723959
簡介:我是桃園ㄉ二手家具業者.有賣各式各樣ㄉ二手家具.家電合辦工設備
連絡人:k0930723959@yahoo.com.tw
已和貴站連結一段時間ㄋ.感謝大大
鼎烽二手家具您好，已加入連結。
回覆刪除貴站名稱－好朋友二手家具
回覆刪除貴站網址－http://tw.myblog.yahoo.com/a0915520799/
放置連結處－http://tw.myblog.yahoo.com/a0915520799/
已放上櫃站連結囉
小凡您好，已放置在側邊欄，名稱有縮減，請見諒。
回覆刪除已將貴站連結放置完成^^
回覆刪除------------------------------------
網站名稱:軟體部落
網址:http://softblog.tw
放置連結處:http://softblog.tw
Hi, hightfly, 已加入貴站為固定連結 ^^
回覆刪除