TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
像嗎？左邊是 Angel，右邊是把拔。
很多人都說我女兒長得跟我很像，我一直在找證據。並且，我的照片不多，小時候的黑白照片我掃描了這張，然後再把 Angel 的照片做黑白處理。看著這兩張照片，我笑了！小時候的照片說明了一切。
當數位相機成為消費性商品，對人類的生活產生了什麼改變？
底片時代，我們很小心地取景拍照，器材也算是高價品，一個家庭很不容易擁有一部相機，我記得有朋友是這麼說的：每按一次底片相機的快門，都會聽到錢掉下去的聲音。
然而，進入數位相機時代，讓我們毋須沖洗，就可以看到拍照的成果，能夠重複使用的記憶卡，更是讓我們輕易地按下快門，任意的拍下照片。
當攝影走入尋常百姓家，我們對攝影的成果，會不會因為不再珍貴稀少而缺了感動。不過，對我來說，「攝影」，是因為數位相機的親民低廉，才終於接觸；而透過紀錄孩子的生活，我慢慢感受到攝影的魔力，雖然我曾認為我的人生毋須留下照片做為回憶，卻三十年後，在我為數甚少的照片之中，我感受到一種不可言喻的記憶，看著當時的照片，我彷彿站在那個時空，回憶起當時的感受，觸摸生命的軌跡。
從此，我願意拿著相機，拍攝眼前所見的一切。慢慢發現，即使平凡的生活，亦存在著各種不同的「視野」，教會我謙卑地面對世界，關懷身邊的人事，在平凡中，卻更見偉大。「讓手邊的相機成為書寫的筆、述事的口，用一張張的照片，傳達內心深層的感受」，這是我對自己的期待。
當「回憶」變得有價值而值得期待，才懂得珍惜自己的生活，用心感受自己的人生。原來，「存在感」是這麼來的！
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！