TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
100年也不可錯過的超值好襪！100位達人的親身推薦！穿上titan襪，令人驚呼的彈性與舒適材質，雙腳真實感受的完整包覆，歷經全方位的專業設計與測試，雙足備受呵護之餘，也可享受深呼吸！ 亞洲頂尖團隊三方聯合研究，耗時三年研發而成，有效減少腳部的磨損或運動傷害，titan是市面上最專業好穿的襪子。 經100位部落客達人親身體驗一致真心推薦：不管是跑步、運動、甚至登山、郊遊通勤、逛街、久站，或是上了年紀titan絕對是保護雙腳的最好襪子！ 根據，2010年1月經濟部調查市售運動襪偷工減料87%不符標準。titan襪子榮獲"台灣MIT優良標章品質認證"， 是你唯一可安心信賴的好襪。 100％台灣製造，絕不使用低劣質物料，這是titan襪子的最基本堅持！！ titan襪子材質上，使用登山用的"合撚紗"，不只耐磨，也可以快速吸汗、促進腳部的血液循環，不用擔心腳丫長時間悶在鞋裡，出現惱人的異味。 根據過去調查，五十歲以上的中老年人，每四人就有三人受到退化性關節炎困擾，七十歲以上的老人，更超過九成。titan襪子為全家人的腳健康把關！ 國內首度結合生物力學和專業運動原理，研發出適合各種運動的襪款。且針對上班族需求，設計透氣舒適的職場活力襪，讓您在任何場合都能腳ㄚ乾爽、好舒服，並得到titan最完善的保護。 經專業嚴格測試比較300多雙襪子，足跡遍佈五大洲，除了日本、韓國、美國、加拿大、紐西蘭、澳洲和歐洲各國包括德國、芬蘭、瑞士，及擁有最好的織襪機台的義大利等，甚至遠到南非。終於研發製成，近乎完美的titan襪！就是要讓台灣的上班族和運動一族，雙腳天天都有被100%呵護的健康體驗！ 有效降低運動傷害！