TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
《圖片與內容摘自博客來書評介紹》
瘋狂賣客瘋狂榮譽榜－
二○○九數位時代百大賣家第四名
第九屆經濟部金網獎 創新達人
第十屆金手指網路獎/網站類/電子商務類 金獎
數位時代二○一○年臉書票選百大人氣粉絲團
瘋狂賣客，網路購物界的傳奇！
每天搜刮便宜貨，而且一天只賣一種，每一種都拿傻瓜相機隨便拍拍，然後再隨便寫一篇胡搞瞎搞的使用說明，就可以賣得嚇嚇叫。而且還有膽亂配商品，把贈品變商品，商品變贈品，出貨來不及還跟客戶說「別催我！」，有人抱怨還上網對嗆：「老子就是這樣，不爽就別來買！」浩瀚網路還真找不到這麼大牌的網拍業者，敢這樣耍著消費者玩，就連賣客網站上「內容物不詳、從來不預告！」的「雜碎袋」，十次有九次打開來裡面還真的都是些垃圾雜碎，但這種恨得人牙癢癢的東西，每次出現都還是有無數的人甘願不停的被耍弄……，做到這種地步竟然還能年營收破千萬，究竟是怎麼辦到的？
瘋狂賣客說：「我們可是每一件都精算過成本的。」原來，即使是客人覺得老闆賠錢賣，賣客也從來沒吃到虧！消費者以為自己撿到便宜，事實上誰撿到便宜還真不知道！究竟他們的密技是什麼？ 這本書並不是要告訴讀者「你們都被耍了」，而是要造福人群、告訴大家，假如你有創意，每個人都可以變成瘋狂的賣客！
瘋狂賣客三大原則：簡單、便宜、好玩！
想了解瘋狂賣客嗎？
買一本書，上博客來去！
或者，去逛逛瘋狂賣客的賣場，瘋狂一下！
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！