TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(Konica C35 Automatic，Konica Centuria Super 100)
這張是最近看房子的時候拍的，那時候的感覺是，管委會管理良好的社區，會讓人很想成為其中一員。
想藉著這感受順便聊聊，特別是在人肉搜索如此容易的時代，做好自己份內的事有多重要。
上個月某個禮拜天晚上，我陪大姨子去面交一台相機，因為那台同型的機子我前陣子玩過，所以還蠻熟的，雖然賣家不是我，但我還是分享了我對這台相機的了解，一如我在弱格介紹相機。
也差不多是月初的事，認識了一位 FB 的朋友，昨天一聊才發現原來他就是那位買家，怪不得我一直覺得他照片很面熟，這緣份真是太奇妙了。
然後是因為在圖書館工作，值班的時候幫一位博班的學姐處理了還書的事，順便聊了開來，巧的是她老家也住在老婆娘家附近幾條街而已，後來這位學姐很熱心的幫我介紹網站的案子，我內心真的非常感謝她，雖然我好像讓她白介紹了一場。
還有之前因為借朋友兩顆 M42 讓他轉接 SD14，他不但給了我很多相機方面的知識，後來還幫我找了一台價錢很實惠的 139Q，還借我把玩了一下 TC-1，快門實在太輕了我不小心還給人家按了一張，哈哈。
我懶得經營賣場，只想寫寫相機鏡頭的介紹文章，不過我這 30 天內賣掉了兩台相機，是兩位來我 Blog 的網友買走的，在我很缺錢的時候伸出援手，著實讓我感激不已。
緣份要成為良緣，在本份內盡責是重要的，我這麼相信著。
吉米兄：
回覆刪除除了照片好看外，內文有喜又有點哀傷，這世界還是有很多好人滴，
ps:今天我要去買樂透，中了你賣的我全要了，哈哈！
Re: applepeel <7944678317474622659>
回覆刪除哈哈，那祝您中獎了！