TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(Minolta XE，Fujinon EBC 55mm f1.8 M42，Konica Centuria Super 200 過期原裝片，增感半格拍增感一格沖)
以前，很喜歡純文字的東西，不愛閱讀，但喜歡書寫，喜歡只以文字形成的畫面。
拍照之後，文字變成附庸，不需要詞藻飾綴，懶惰地直接以畫面呈現，現在。
我拍不出別人認為美好的照片，總是想在美好的浪漫之中，企圖加入衝突的元素。
過於美好，反而沒有按下快門的衝動。
最近，我也做了人生中算是衝突的一件事，閱讀。
我本以為所謂攝影集應該是圖為重，所以借森山和荒木的攝影集來看，猜想應該不會讓不愛看別人文字的我太吃力，但我錯了，不過我還是耐下性子對照圖片看了文字。
就翻譯來的文字來說，或許原味也不見得如此，在還沒看完之前，我發現，這中間有一個最大公約數，人生。影像創造者有自己的人生，也讓文字和影像帶來不同的韻味，荒木感覺很調皮，森山則是很感傷，純就調性來說，森山的調比較順我的味。
不過，我沒辦法像書評家說得出作者有多傑出，見解有多獨到。
我向來沒辦法喜歡誰誰誰的文字，或是誰誰誰的照片，是治不了的絕症，叫做自戀。換個話來說，可能是沒有關聯，所以他的東京、他的記憶，對我來說，好像打不進心裡，甚至連照片也是；本來看過隔天就想還了，想想在借期到之間，反覆翻閱或許可以找到不同的感覺，也就姑且留著，上廁所也不會空著雙手雙眼。
然而，兀自想起茫然的人生，說真的也只剩自戀才活得下去。
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！