TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
傳說中的被動收入連載，第一集先寫非加密貨幣型的 EarnApp 。 先看一下今年的收錢紀錄，今年的網域續約就靠這個 EarnApp 還有找。 我一開始的時候大概是每 2.5 美金自動給付，後來變成 10 美金，為什麼是這樣不清楚，但領得到錢很棒棒。 收錢要求 Paypal 帳戶 一個家用寬頻 IP（一個對外 IP 只能跑一個，多跑沒用，所以如果用手機連家裡網路和電腦同時跑，沒用） 一台 Windows, Mac, Linux 電腦（手機好像也可以，但實測 Android 有點吃資源，建議是有多的閒置手機和門號可以玩玩） 下載和安裝軟體 先到 官網完成註冊帳號 才能下載。 我是用 Docker 跑的，有留言需要協助的話再補充，以下的操作還是以 Windows 電腦為例。 最後程式啟動的時候應該會自動連線，再確認裝置是否有連結至帳號應該就可以等收錢了。 記得設定自動收款 ，免得忘記 除了電腦掛機賺錢，也可以透過玩遊戲多領一些，但我遊戲苦手，就沒測試了。 最重要的，拜託用 我的邀請連結 去申請帳號鼓勵我寫這篇分享， EarnApp 會再分潤給我，我沒有朋友都沒領到過，愛你唷。 我的邀請連結： https://earnapp.com/i/C9TX3iNw