TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(圖片來源：PK Tether)
有位波蘭的 Pentax 使用者為 Pentax DSLR 開發了連線拍攝 Tethered shooting 的軟體，讓你可以利用電腦控制 Pentax DSLR 拍照！軟體截圖如上，目前支援的機身包括：k-x、K7、K5、k-r、K20D、K10D、K200D，免費軟體，需要 .NET Framework 3.5。
手上已經沒有 Pentax DSLR 才發現這個軟體，Pentax 的捧油們試玩看看！
註：原廠的 Remote Assistant 只支援到 K20D。
該作者 Tomasz Kos 的相關網站：
我手上也沒有
回覆刪除喵...
回覆刪除我手中有 Kr, 可以用..
回覆刪除Kr 不能外接快門線. 包曝又不能和 IR remote 同時使用.
當我看到此軟體時, 我立刻去訂了 "我想了半年還遲遲未決" 的小筆電.
:-) 恭喜啊，這樣拍爽度很高的..
回覆刪除