TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
省錢除舊佈新！ 下載收納、衣鞋櫃優惠，獨享「現金折抵」 時序進入11月，2011年即將倒數計時囉！而且你知道嗎？今年的農曆年節特別早，再過2個半月就是除夕，動作快的早就開始計畫歲末大掃除囉~~ 櫥櫃換新、善用收納幫手，老房子「新」氣象 其實，歲末除舊佈新、換個好「新」情，沒有想像中那麼複雜，也不需要砸大錢、花上萬元重新整修裝潢！怎麼省省的除舊佈新呢？除了整間房子清掃一遍，讓它看起來亮晶晶，把用了多年的老舊櫥櫃、空間胃納量不夠的衣架鞋櫃等換掉，或者添購一些收納箱讓衣物、棉被、兒童玩具…收得更整齊有秩序，也能讓家裡變得"煥然一新"喔！ 除舊佈新怎麼省？換購櫥櫃、層架，風格大變身 舉例來說，如果你喜歡優雅潔淨的風格，可以將房間的櫃子，換成米白色、外型講究質感的日本抽屜收納櫃；如果你喜歡歐美簡約風格，可以換德克鍍鉻超寬衣架，不只衣物收納空間變大了，而且多層架讓你可以分類收納，皮包一層、配件一層、內衣褲一層…..多功能運用更實際！花這些少少的錢，就能讓你家的空間變得很不同。 廚房雜物架換新！胃納量大增加廚房空間 或者你也可以改變廚房、客廳、兒童房等空間的櫥櫃！尤其廚房是家中最容易堆積雜物的地方，舉凡油、調味醬料、鍋碗瓢盆、菜刀等烹飪工具，以及大型電器，如：微波爐、烤箱、電磁爐等，通通佔掉廚房不少空間。東西一多，如果再沒整理好，就會看起來雜亂，廚房也變得很小。這時候你需要花更多錢換間更大的廚房？NoNoNo！你只要花3000元換個容量大、好用的櫥櫃層架，就能創造不同風格，讓廚房也更寬廣。 省錢趁現在！下載優惠代碼獨享「現金折抵」 更重要的是，為了顧及荷包，現在這些櫥櫃層架的價格，通通"獨家下殺"，平均單件可省好幾百元呢！！而且「滿3800元現省500元，滿7600元現省1000元……依此類推」！只要下載優惠代碼，持代碼到全台特力屋門市買櫥櫃層架商品，就能馬上獨享： http://www.sharer.com.tw/o2o/?utm_source=stick&utm_medium=cpm&utm_campaign=news