TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(青青食尚花園會館，Sony A450，KM DT 18-70mm，Lightroom)
拍這張照片的時候，按下快門前對著新郎說：”我要一台新相機”，換得極自然的笑容。
這是會跟你蹲在宿舍的樓梯間，拿著水果刀殺柚子一起過中秋，喝啤酒，彈吉他給你聽的學弟。
我結婚時，拗他忙了一整天，也帶了當初剛認識沒多久的新娘來參加我的婚禮。
出來混總是要還的，我雖然沒什麼自信，但還是答應幫忙拍攝這場婚禮派對，搞得我很焦慮，預定要帶的底片機換了兩次，又借了一顆鏡頭，實際上場是一台借來的 Alpha 7 和這台 DSLR，同時也借了一顆 28-70 G，想說可以通用，也各有一支閃燈可以打，感覺比較保險一點。
很浪漫的戶外婚禮，偏偏來了跟著婚禮一同開始的雨，器材通通都濕了，但也豁出去了，淋著雨拍攝著，享受著很開心自在，特別為朋友們辦的婚宴派對。
歡樂的氣氛，伴著樂團表演聊天用餐，新郎新娘特別練的一段舞蹈，讓所有人都很開心笑著的婚禮 MV，據說是前幾天新郎特製趕工完成的新娘前幾天都凌晨四五點睡趕工完成的，整場都辦得很完滿，很符合這兩對夫妻給人的感覺，是大家的開心果。
恭喜了兩位。
另有底片拍攝的婚禮派對：[底片集] Ted and Maggie Wedding Party．Minolta Alpha 7
我覺得...........妳可以改行去當婚攝了～～
回覆刪除Re: applepeel <4301720470316018515>
回覆刪除是個東西吃不飽又揹很重的工作說 XD
新郎帥氣，新娘美麗
回覆刪除Jimmy大您拍攝的真好 ~
在下光拿起閃燈就已經覺得很頭痛了
Re: FROCH <8229181095504213938>
回覆刪除是真的蠻難的，還有很多功課要學呀。
不過我覺得能夠抓到我喜歡的瞬間是最高興的一件事了！