TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
使用相機：Minolta Hi-matic CS
使用底片：Fujicolor Super 400 過期底片，減半格拍，正常沖
沖掃店家：公館五色鳥
這卷其實拍完好一陣子了，不過一直懶得送去洗，前天才和從花蓮帶回來三卷一起拿去。
用的是另一捲過期的 Fuji Super 400 來拍 (只有 24 張)，基本上，這幾台小台的 RF 是我隨拍的工具，沒有特別要試鏡頭的時候，或者純粹想試試一些過期底片的時候，總會是我帶在身上的選擇，騎上機車或散步街頭，揹個小包包，隨時停下來按下快門，然後又是一卷底片的結束，也因為太習慣這個焦段，現在已經很少去想怎麼拍，怎麼構圖，要等多久，只要感覺對了，就按快門吧。
我想，這卷就依照每天上班的路程來分享吧，雖然是這些照片不是同一天拍的，但剛好可以串起每日必經的場景，很平凡的生活。
先送 Angel 去保姆家》
永和．永福橋》
我記得那天很誇張，一整個塞滿的狀態
公館．自來水園區》
師大路》
麗水街．錦安日式宿舍群》
其實上班都會經過麗水街，但卻不常停下來或來這裡散散步，那天剛好看到一個大陣仗，好像是在拍攝這些日式宿舍群吧，沒有走近，只是遠遠地看了看，剛好有一個把拔帶著兩個小孩來麗水公園玩，要回去的時候就停下來看這些攝影大哥們在做什麼。
麗水公園》
其實一直想找機會拍到早上在這裡運動打拳練功的畫面，不過到目前為止還沒機會停下來拍過，所以就順便先探了一下公園靜態的樣子，待有緣的時候再說。
都是隨拍照片，謝謝收看。本卷其他照片：Minolta Hi-matic CS vol.3
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！