TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
聖誕下殺「團購價」！ titan運動襪，現在買省最多 2011年進入尾聲，眼看12月最重要的感恩節日「聖誕節」就要到囉，專業機能運動襪titan特別舉辦回饋活動，全館系列襪種，通通下殺全年最低價"7折"！ 全系列專業運動襪，下殺全年最低價！ 最受健走、慢跑族喜愛的「功能慢跑襪」，原價320元，聖誕限時回饋224元，現省96元！如果你喜歡打籃球，絕對別錯過「專業籃球襪」，原價320元，現在特價224元，全年最低價！還有還有，適合健身房、綜合性運動的「全方位運動襪」，原價280元，現在竟然200元有找！！ 100雙超值團購價，現在1雙就能獨享！ 這樣的超值價格，原本只有在團購100雙時才能享有，而現在，只要買1雙，就能用團購價購買，絕對是今年省最多的一檔。 機能運動襪真厲害？科學實驗，數據會說話！ titan襪是由國立台灣師範大學運動科學研究所、國際生物力學學會、台灣運動科技發展協會合作研發，經過無數次科學檢測和專業運動員測試，確定能有效減緩足壓、降低運動傷害的發生，才和國人見面。保證100%台灣製造。 學童專屬Kid襪登場，更加強足弓保護 除了照顧大人的腳，titan襪現在也顧及小朋友的腳部健康，研製了6~10歲學童專用的「全方位Kid襪」，一雙原價210元，現在限時嘗鮮價150元有找，相當划算！ titan研發團隊表示，由於這個時期是小朋友最需要多元運動、以健全體適能發展的生長期，同時，小朋友的足弓尚未發育成熟，活動時仍需要依靠肌肉韌帶來輔助足弓功能，因此titan特別針對此需求，改良市售童襪，在足中部採大片環狀彈性設計將足弓穩固支撐，減少運動傷害發生。而且整雙襪子都有緩衝功能的設計，讓小朋友運動時能有更完善的保護！ 冷冬保暖、嚴防腳受傷！穿titan襪現在最省 titan襪穿起來不只舒適透氣，也因為材質關係穿起來很保暖，對抗今年冷冬、防止運動傷害，一雙titan襪就能一起KO！這波全年最低價限時回饋，只有14天，優惠數量有限，搶完為止！