TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(From: http://youtu.be/2HzGHAbF308)
大五，我留下了兩堂體育課，上學期修棒球，下學期修壘球，都是王清欉老師的課。
那一年，每個禮拜上班三天，一到了禮拜五，可以打球的日子真是太迷人了！大五那時本想幫老師把他的棒球教室網站給弄起來，後來自己實在太不負責任了，工作有點忙，手上其他案子都趕不完，拖著拖著就畢業當兵去了，後來老師還是把網站搞出來了，偶爾都會上去看一下。
今年王老師卸下了體育室主任的職務，終於可以放鬆一點，開心的教球。去年還前年吧，為了校慶，身為主任的他還自己打電話邀請各單位贊助，來我們中心的時候，能跟他再次碰面好高興，突然想起自己大概從大五以後就封球到現在了，手套都哭泣了。
可能因為又是同鄉，老師又親切，跟王老師很有話聊，加上棒球的關係，大五是我唯一沒有翹課紀錄的一年 (汗)。
前一陣子看到自由時報有他的報導：＜威廉波特‧懷舊系列＞王清欉 遠東賽曾敲3轟，才知道這麼低調的他，原來是當年台南巨人少棒的英雄！強打少年耶！
那則報導最末有一段話：『1987年到政大教書，3年後中華職棒開打，當時在政大當助教一個月薪水才1萬6千元，職棒球員動輒10幾萬，同學都問我幹嘛不去打職棒？不過之後中華職棒面臨打假球的衝擊，許多球員丟了工作，我卻沒有尋找第二春的問題。』看著今年又發生的假球事件，很感慨台灣的體育環境實在差勁，也慶幸老師當年所做的決定。
我雖然小學念的是協進國小這個台南具有優良棒球傳統的學校，不過那時我氣喘病很嚴重，沒辦法運動，一顆小白球別人可以從籃球場的這一頭傳到另一頭，我只能傳到中場；後來國中念的建興國中仍是棒球名校 (王建民、郭泓志、胡金龍都是校友)，身體慢慢好起來之後，開始很愛跟同學打棒球，從此愛上了棒球，不過只能算是說得一口好球而已啦！
棒球對於生在台灣的我們，是具有神奇的凝聚力的一項運動。
看著假球事件又再度發生的中職 20 年，想起今年開打前我寫了一篇：經典，我沒看直播，有一句是：『姑且不論職棒簽賭一次又一次令球迷傷心，政府做了什麼？聯盟做了什麼？職棒球團做了什麼？二軍制度？自由球員制？球員工會？什麼時候才不再用共體時艱的言論，對待台灣的棒球選手。』
我想同樣的話，我還是想拿來回應發生假球事件的兄弟球團，還有喊著搶救兄弟象隊的球迷們。個人認為，洪家對於台灣走入職業棒球時代有其貢獻，但成也洪家，敗也洪家。玩不起，真的，就不要玩！
不管是重組職棒，或者組成球隊加入日職什麼形式都不要緊，請給球員應有的尊嚴、安全防護、薪資福利，還有健全的職業棒球制度，讓他們可以在場上，毫無顧忌地發揮最佳球技，才會有一場又一場值得觀賞的好球。
很久沒打球了，這是篇光說不練的文章，純懷念。
(照片來源：王清欉的棒球教室)
寫得太好了,"玩不起，真的，就不要玩！"
回覆刪除二十年前,我們還看不起韓職,
二十年來,台職從經營者到球員,爛到底了!
Re: Steven <2185000415395006550>
回覆刪除呵呵，這篇寫好久了說XD。
現在是真的都沒在看了。
沒影片了，補上讓小弟聞香一下，謝謝~
回覆刪除Re: Augustine <6822321556954392601>
回覆刪除^^ 還好有您提醒，我放上影片了 XD