TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
音樂好聽就算了，影片還很感人，同時也是 Sony NEX 的廣告，影片中學生時代拿的看起來像是 Minolta Hi-matic E (請參考 Minolta Hi-matic CS )，結婚時及婚後拿的很像是 Minolta XD (請參考 Minolta XE )，老年時用的是 Sony NEX-5 ，也把承繼 Minolta 的血統表現在感人的影片當中。(實在很抱歉，我注意的總是離不開相機…) Hello, Again～昔からある場所～ 歌：JUJU 作詞：KATE 作曲：藤井謙二・小林武史 いつも 君と 待ち續けた 季節は 何も言わず 通り過ぎた 雨はこの街に 降り注ぐ 少しの リグレットと罪を 包み迂んで 泣かないことを 誓ったまま 時は過ぎ 痛む心に 氣が付かずに 僕は一人になった 「記憶の中で ずっと二人は 生きて行ける」 君の聲が 今も胸に響くよ それは愛が彷徨う影 君は少し泣いた? あの時見えなかった 自分の限界が どこまでかを 知るために 僕は生きてる譯じゃない だけど 新しい扉を開け 海に出れば 波の彼方に ちゃんと」果て」を感じられる 僕は この手伸ばして 空に進み 風を受けて 生きて行こう どこかでまためぐるよ 遠い昔からある場所 夜の間でさえ 季節は變わって行く 雨は やがて あがっていた 「記憶の中で ずっと二人は 生きて行ける」 君の聲が 今も胸に響くよ それは愛が彷徨う影 君は少し泣いた? あの時見えなかった