跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

爆肝工程師

( Nicca IIIA ,Jupiter-8 50mm f2,Fujifilm X-tra 400) 週末,老闆找我出去跟一位技術前輩聊天。 技術卓越的背後,換來的是昏花的老眼,極少的每日睡眠時間。 談到技術時,眼神充滿光芒,卻也需要不時摘下眼鏡揉揉雙眼。 前輩說,這一切都是拿命來換。只是他至少換到了不錯的收入,那我換到什麼? 我的眼睛,還想一輩子用來紀錄回憶,我的雙腳,還得陪我扛著相機到處拍照,所以是該定期保養了吧。

不預期

( Nicca IIIA ,Jupiter-8 50mm f2,Fujifilm X-tra 400) 意外這件事,有時是美好的,即使機率不怎麼高。 先做最壞打算,結果只會更好,至少不會更糟糕。

公園與朋友。

結交新朋友。 再遇老朋友。

[底片集] Mamiya C3 卷六

使用相機: Mamiya C3 Professional with Mamiya-Sekor 105mm f3.5 使用底片:Konica Centuria PRO 400 過期 沖掃店家:士林正典 最近覺得,揹 Mamiya C3 出門已經不那麼累了,重量訓練成功的意思。 其他本卷照片: Mamiya C3 vol.6

航道

(Konica Autoreflex T2,Konica AR Hexanon 21mm f4,Perutz Primera 200) 面臨抉擇,唯有捨,才能得。 和諧鄉愿,衝突卻擦出火花。 攀登孤傲的山巔,享受征服。 選擇危險的航道,成就偉大。

迷惘

(Kodak Retina IIIc,Schneider Xenon 50mm f2 c,Fujifilm PRO 160 S) 迷惘其實是幸福的,那代表一種選擇權,任性放空的自由。 那個空間是歡愉的,有著模稜兩可的美,沒有邊際的喜悅。

夏天的尾巴

(Mamiya C3,Mamiya Sekor 55mm f4.5,Kodak Ektacolor PRO 160) 秋涼早至。 常常在想相見不如懷念這件事,特別是將要分離的時刻。 總覺得不小心討厭一個人一件事,背後同時隱藏著羨慕。 討厭夏天的熱情,剝著曬傷後的脫皮,心中卻充滿眷戀。 愛恨交織的情緒裡,滿是祝福,或有遺憾,更珍惜緣份。 不屬於同一個星球,也無法打造你的世界,只能手放開。