TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
兩位尋求本季第一勝的投手交手。 王建民怎麼了？上一場大敗之後，有人語帶嘲諷，有人心疼，但這卻是成為大投手必經之路，而王建民必須靠自己成長，球技以外，找到自己成為王牌的心理素質。 看新聞報導，都會覺得為什麼每次王建民大量失分，或者控球不穩，常常都因為手臂太開，放球點錯誤，一個大聯盟待這麼多年的投手，控球的問題卻一直無法擺脫。 無疑的，他是很認真的投手，更是少見內斂的投手，現在讓人擔心起他抒發自我情緒的能力，個性太憋，少一點關鍵的霸氣，從他的個性，再再反映反求諸己、自我要求的好性格，在需要大炒話題，啫血的職業運動，是少見的典型。 控球是一個投手的天賦吧，我一直這麼覺得。看過麥達斯顛峰時期的投球，才深深體會一個投手是如何完成宰制球場，從一開始看王建民，我總覺得他少了令人難忘的控球，那種令打者完全傻眼，站著被三振的場景，還是太少了。 他有優秀的球質，配合二縫線會往內角鑽的沈球，可以令打者打不好，卻總是只有這項武器，偶然出現的變速球、滑球，還是不能成為配球時的關鍵球種，以時間差讓打者的視覺產生不適，而無法把球打出去；縱向的變化球種也少，慢速的球種他也不多，這是我們認識的王建民。 那又如何？有兩年都拿下十九勝的王建民，每年開季都讓媒體們看好，今年開季總算是讓大家擔心了耶！我還是覺得他的成功，來自於沈著的心理素質，這比他有更多的球技，更快的球速，更殺的霸氣，都還要重要，這是從曹錦輝的身上，所找不到的沈著。 比起王建民，我始終喜歡曹錦輝在投手丘上的身影，有秀感，夠張力，少了令人心安的穩定性，多了瞬息萬變的戲劇張力。回台灣的曹錦輝，從他的身影總看出惆悵，很不捨；進了兄弟象，在我眼裡，根本就不該是選項。 我反而覺得，當王建民開始不穩定，才是大幅成長的開始，也許為此他跟教練團才會正視球種搭配的重要性，包括他自己，才會在手邊最好的武器不好用的時候，適時用上其他武器。唯有不再一成不變的勝利模式，王建民才算正式跨入下一個階段。 加油！ 本篇所用圖片皆來自 大聯盟官網 。