TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
繼德國萊卡公司於中國推出辛亥革命一百周年紀念款之後，預計也將於伽瑪星雲第 58 號行星推出 2050 年藍星制霸紀念款，以提早紀念 2050 年 Keroro 小隊將成功侵略藍星的卓越貢獻！
該紀念版萊卡相機以 Leica M9 相機為藍本製作，採用黑色飾皮，機身頂部鐫刻”藍星制霸記念。Sergeant Keroro”字樣，機身背面並有編號，配有 50mm f1.4 鏡頭，遮光罩上並刻有”ケロロ軍曹”字樣，另外開機動畫與待機畫面則是 Keroro 成功征服藍星的帥氣照片一枚。
共計推出 52 套，相機按年份編號，自 1999 號至 2050 號，其中 1999 號這一套贈予宇宙侵略軍特殊先鋒部隊隊長－Keroro 軍曹，而 2050 號則由伽瑪星雲第 58 號行星宇宙侵略軍總部珍藏。
該紀念相機預售價格 888 元藍星幣。
Leica M9 藍星制霸紀念款 (頂部)
Leica M9 藍星制霸紀念款 (正面)
Leica M9 藍星制霸紀念款 (背面)
Leica M9 藍星制霸紀念款 (側邊)
這當然不是真的。
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！