TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
抗通膨！襪子不漲價還送iPad、GF2
民生物資漲聲響起！繼泡麵漲價後，傳出食用油、麵包、飲料等商品，通通準備漲價一成五以上，就連襪子，也因為國際棉價創新高，成本快速墊高，醞釀漲價。不過以專業護腳襪子著稱的titan襪，體恤全民荷包縮水，和大家一起抗通膨，全系列襪子「通通不漲價」，而且堅持採用高品質的純棉，穿起來相當舒適、透氣乾爽。
同時為了慶祝「titan職場活力襪」新上市，即日起到3/31之前，只要購買titan職場活力襪1雙以上，同時單筆消費折扣後滿1000元，就能抽iPad，單筆消費折扣後滿3000元，抽Panasonic GF2女友機二號，消費次數愈多，中獎機會愈大！
這款「titan職場活力襪」專門為上班族設計，剛上市就贏得口碑好評！粉領族部落客米粒Q，就在試穿後大讚職場活力襪的特殊彈性織法，「織料延展性非常好，不會有緊繃感，而且輕薄透氣，不用擔心多走幾步路或是水洗後，襪口會像老皮一樣越來越鬆往下滑。」
不只有舒適的襪口設計，同時考量到上班族通勤常常需要步行、趕公車等，所以特別做了三大保護設計：
1. 環狀彈性支撐：穩固足弓，減少疲勞和傷害的發生。
2. 足後段特殊起毛設計：減少足壓，以及足繭的生成。
3. 腳尖緩衝層：特別加厚，減少腳趾和鞋子摩擦碰撞、導致瘀青。
另外上班族長期穿著鞋子、腳ㄚ悶在鞋內，容易產生臭味，titan職場活力襪特別選用"竹炭紗材質"抗菌除臭，同時在容易流汗的腳趾間，做通風的網狀設計，以及在踝關節彎曲處用大片的棋盤式網狀編織，讓踝關節彎曲自由度更大，也可散熱、更透氣，讓整個腳部乾爽舒適。
titan襪由亞洲頂尖研發團隊研發而成，兼具舒適、美觀、保護腳部三大功能。且保證100%台灣製造，絕對不會因原物料價格上揚，使用低劣品質的物料，同時也通過「MIT微笑標章」認證，品質絕對值得信賴！
● 趕快參加「titan職場活力襪，送你iPad、GF2！」活動：
http://www.titan-tech.com.tw/order.php
● titan襪的舒適好穿，經過實驗測試：http://www.titan-tech.com.tw/technology.html
● TVBS新聞報導推薦：http://n.yam.com/view/mkvideopage.php/20110206003913
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！