TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
朋友送我的 Ricoh 500GX，有三個待整修的項目，這幾天家裡因為吃羊肉火鍋跳電，造成電腦主硬碟掛了，我還懶得去一趟亞銳士換，所以什麼事都不能做，所以乾脆來黏一下這台的覆皮。
老婆大人先幫我問了同事，借來布質的雙面膠來黏，黏貼力還不錯，也可以撕下不會造成原覆皮的損傷，不過呢，因為選用的布膠太厚了，以致於造成機身兩側微微的鼓起，雖然可以假裝當做是握把的感覺，但不好看。
後來老婆大人又向同事詢問了其他解決方案，同事又拿出這款日本施敏打硬公司出的相片膠。
這款相片膠原廠的介紹》
用途：貼相用施敏打硬適用於彩色相片，照片貼紙、厚紙、壓廢紙之黏著。以及上述物品與木材或布之黏著。
特長：接著力強、快乾；透明狀，相片不會變色；接著後可用電戽間接熱燙後可易於去剝。
上頭完全沒寫到皮革跟金屬的接著能不能用，也只能抱著半信半疑的態度姑且一用了。
用了之後，感覺黏著力還不錯，之後若想去除應該也不會太難，至少，目前覆皮不會再翹起來，也不像用布膠那樣會有一個厚度。
找時間再來弄機身內的遮光海棉。
沒想到吃羊肉火鍋的代價好大
回覆刪除ㄎㄎㄎ
是啊，影片要重頭抓過了~
回覆刪除