TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
MLB 》只花六球解決五人次 小曹超完美中繼演出 更新日期： 2007/04/29 13:36 黃及人／報導 能想像一下如何只投 6 個好球完成 5 個出局數嗎？ 曹錦輝 就做到了！今天（ 29 日）洛杉磯 道奇 與聖地牙哥教士之戰，小曹本季第 6 次中繼登場，主投 1.2 局僅投 6 球，無安打無失分，還有 1 次三振，表現只能用「超完美」形容，可惜隊友打擊仍不捧場，最後道奇以 2 比 3 敗北。 曹錦輝是在七局下一人出局，一、三壘有人的緊張局面，上場接替道奇先發湯可（ Brett Tomko ）的投球，小曹只投 1 球，就讓教士打者包溫（ Rob Bowen ）打出投手丘前軟弱滾地球，完成詭異的「 1-5-2 」雙殺守備，道奇防線先把三壘跑者觸殺在本壘前，然後再把想偷跑到三壘的跑者封殺，漂亮化解失分危機。 八局下半，曹錦輝的表現更完美，上場所投的第 2 球讓教士代打巴德（ Josh Bard ）擊出中外野飛球出局，隨後只用 3 球，俐落地三振首棒打者吉爾斯（ Marcus Giles ），最後面對史利奇（ Terrmel Sledge ），小曹投出外角低球，讓史利奇打成游擊方向小飛球出局，宣告誇張地只用 6 球就完成 1.2 局投球。 道奇隊昨天把教士守護神霍夫曼（ Trevor Hoffman ）打爆，一口氣狂掃 4 分逆轉贏球，沒想到今天卻完全變樣，霍夫曼同樣在九局上半登場救援，這次卻讓道奇中心打線三上三下，精采完成救援任務，讓小曹想要追逐本季首勝的美夢再度破滅。 目前曹錦輝本季出賽 6 場，共主投 6.2 局，只被揮出 1 安打， 5 次三振，兩次保送，防禦率依舊維持在無失分的「 0.00 」狀態，更是道奇隊 12 名投手當中唯一可以保持不破功的球員，遭遇對手的打擊率僅僅 0.05 ，小曹的表現簡直太神了。 雅虎國際資訊 版權所有 © 2007 Yahoo! Taiwan Inc. All Right Reserved. 麗台育樂傳播股份有限公司 版權所有 © 2007 Leadteksports Inc. All Right Reserved.