TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : zeng (瞎了的導盲犬) 標題 : 學顧版，我的省思 時間 : Fri Jan 18 02:06:27 2002 我覺得，單憑口試制度刷掉主考官主觀認定不具備服務熱忱的人， 是很大的設計上的錯誤。 試著從這個角度來看目前培訓出來的學生顧問：口試制度刷掉了半 數以上來考學顧的人，然後才從如此主觀判斷下決定出來的培訓名 單，經過二個禮拜精心規劃之密集的補習訓練課程，通過段考一般 的學顧考試(因為教完馬上考，且考題皆在課程內容之中)，上屆據 說還有雖然考試成績不理想，可以多實習值班個二小時，或者多交 一份報告，成為正式學顧， 我認為有相當大的問題，試假設若碰巧認識主考官，或者同屬於某 特定學顧聚集的社團，勢必會比如我一般沒有背景勢力的人來得佔 便宜。我的意思並非真懷疑培訓甄選的公平公正性，而是發現這樣 的甄選制度之所以會漸漸出現一群同社團同科系的人一起擔任學生 顧問時，提出一些我的觀察。 再則，單憑口試部份，必須檢視出一個人的熱忱，及一個人所具備 的基本電腦能力，甚至是否具備服務人格，我認為莫名奇妙。舉例 來說，難道你認為所有進服務性社團的人都必須具備所謂崇高的服 務心態，或令人一眼能辨識出的樂於服務他人之特質嗎？以我在服 務性社團(指南大山)混了三年的觀察，我更相信熱忱和態度可以培 養，甚或是深入服務的場域即使是平時自私不願幫助他人之人如我 ，會做到一些連你都不敢相信的事，漸漸地從態度上的學習，到技 術上為了達到更好的服務而有所增進。 然而，計中學生顧問在我眼裡，就應該是扮演讓人學習培養服務態 度的地方，並且我不相信有誰天生具備為他人服務的特質或態度， 多數的學習都是在一次又一次與使用者之間的互動中，調整出來的 想法和態度。結合技術上不斷精益求精的學習力與樂於助人解決問 題的人格特質，是身為學生顧問的我們，努力追求的目標，而非先 備條件，成為學顧，是學習的開始，而不是結束。 當年當我不小心擔任學生助理時，帶領當初一群志同道合的學顧同 學，在我們所舉辦的當次學顧培訓，於資深學顧培訓的負荷量與口 試制度的缺失之間，做了一些小小...