TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
今天遇見了來自愛爾蘭都柏林理工學院的漢學博士 Dr. Henry Leperlier (羅維文)。 幫別人解決電腦的問題，一直都是我的業務，同事的、外借場地客戶的、住宿山南居的房客，通通都在服務範圍內。今天有一位房客，焦急地通知我們山南居的網路連線異常，原本跟他約了十點半，但他因為有事必須外出，所以改於下午一點半再去幫他處理。 還沒去之前，我大概已經判斷了幾個常見的狀況， 一、通常，外國學者(包含大陸學者)來住宿山南居，網路不通的情況通常是因為設定了他們原本校園內的 Proxy 而沒有取消該設定，以致於瀏覽器始終無法正確連上。 二、再者，曾經遇過設置在一樓的 IP 分享器過熱出狀況，而無法正常配送 IP。 三、中華電信 ADSL 線路維修。 所以先查了一下中華電信是沒有故障通知，然後一點二十多分，我帶了一台 NB，想先到那裡去試試，大概可以先確認一下，不過，Dr. Leperlier 很準時的回來了，很客氣慈祥的一個人，所以便直接到他住宿房間裡去看看，接上我帶來的 NB 後，發現是 IP 無法正確配送，大概就知道是第二種情況了。 我說我要下去一樓的機櫃處理一下 IP Sharer，他也很熱切地想要知道之後要如何處理，因為他每一年都要到台灣住上近一個月，大約都會住在山南居大概十多天，加上他非常仰賴網路與家人朋友們聯繫，所以我就帶他看了一下機櫃，順便介紹一下這裡的網路架構，摸了一下 IP Sharer，熱翻了，我想大概快要接近 50 度吧！只能先拔掉電源，等到稍微冷卻之後再接上電源，再上樓去測試就一切正常了。 寫上面那些不是重點，跟他談論電腦問題的過程，他用很流利的中文跟我說明他所遇到的狀況，然後還問我是否不是台北人，他居然能注意到我的中文口音不道地，我覺得這真是太有趣了，而且我想回答他的問題，習慣上看到外國人還是會講上一兩句破爛的英文，他還提醒我說，講中文就可以了，哈哈，真的很奇妙耶！ 所以跟他閒聊了一下，他說他每一年都會來台灣學中文，最近也開始學台語，「你會曉供台語否？」，他就這麼順口問了我，我用台語跟他說，台語是我的母語，應該會比中文說得好。他就說他剛剛是從學中文的學校走回來，赴一點半跟我約定的時間，早上因為他要去上課，所以沒辦法約十點半，我看他滿身汗，今天中午也真夠熱的，真的很不好意思。 他問了我的名字，我說「宗正」，Sounds...