TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : ZENG (破掉眼鏡貓~~) 標題 : 忠治出隊之記(二) 時間 : Thu Oct 28 23:38:29 1999 也許是第一次在忠治出隊，或者是因為在暑假期間， 跟以往的課輔模式有著很大的不同，在這裡似乎更難讓孩子們乖乖地坐著， 我們必須花費很大的心力去吸引他們的注意，陪他們聊天、打牌、畫圖、捏黏土.. 當然他們活蹦亂跳的天性，會讓他們找盡各種藉口離開那裡， 跑到外面的路上玩起摔角的遊戲，對辛苦寫企劃書策劃活動的巴洞而言， 這些狀況實在是很難料想週到。 此時便會想起，原住民朋友們對山服的指教， 他們認為，山服不可以再以主流文化的觀點來企劃活動， 應該針對原住民的需要，請教原住民部落裡的長老， 不要在寒暑假的期間，再次帶來漢人文化的侵略。 然而在忠治，卻有種說不上來的感覺，這裡存在的原住民文化給予孩子的薰陶， 比起花東的部落，似乎是缺乏了些，而也因他們處在繁華大都會的偏僻角落， 很多政府給予原住民的資源之分配，這裡似乎都不會被優先考慮。 說到這裡的人，普遍給了我一種與外界競爭不順遂，藉酒澆愁之感， 身處於大都會的近郊，面對的是擁有各項優勢的高知識分子， 而他們除了粗重的臨時工可找以外，實無其他謀生之法。 青少告訴我村子裡有個技術頂尖的鐵皮師父，很愛喝酒， 經常早上穿得西裝筆挺地下山工作，晚上卻一定是一身破爛、醉醺醺地回來， 談到那個人，青少們明白愛喝酒會被別人騙錢，所以不好； 小孩子接受學校教育，課堂上在老師的洗腦之下，一定會說酗酒不好， 但每當他們回到家中，所面對的可能是醉倒的爸爸或是被破掉酒瓶割傷的媽媽， 這樣的環境，相信絕不是幸福的你我所能想像及理解， 原住民朋友對山服的指教一點也沒錯。 其實出隊當生管是相當有威嚴的唷，不論是對巴洞或是小朋友們而言， 通常在場面失控到一定的程度，用哨子一吹，場面馬上就靜了下來， 有一群小男生很喜歡找我比力氣、比大膽、比凶狠... 通常在輸得很慘之後，會很不服氣地講起他們村子裡的故事， 發生在他們週遭歷歷在目的過去： 「班長班長(註1)，我跟你說哦，上次有四、五台小客車載滿了人， ...