TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
使用相機：Ricoh KR-10 Super with Schneider-Kreuznach Retina-Xenon 50mm f1.9
使用底片：Fujifilm X-tra 400 and Perutz Primera 200 過期
沖掃店家：士林正典
今天下午陰雨的天氣，很怕自己悶到發霉，中午哄完兩個女人睡覺以後還是揹了相機出門。
沒有方向的時候，我差不多都是在捷運底下亂晃比較多，一來有椅子走累了可以躲雨，二來離家不遠我隨時方便撤退。拍了幾張，雨大了起來，找了張椅子坐下來 Line 一下，想說如果雨還是這樣下可能差不多要打道回府了吧。
Line 了幾句，凱麗、潘娜和我就在雨停的雙溪河堤集合了，我們出門通常沒在幹嘛，也不會先設定要幹嘛，就是漫無目的的把底片殺掉，然後把底片送進沖印店把錢花掉這樣。
前幾天有點好奇，我算了一下去年五月到最近我拍了幾卷，差不多一百卷吧，老婆第一時間的反應就是說我又燒掉了近兩萬元，用燒掉這詞的確蠻精準的，因為我什麼好照片也沒有，不斷的瞎拍瞎拍，其實有時候想想還蠻傷本的，特別是每次到了要繳稅、繳生活費的時候，內心總是特別傷感，但多數的時候，邊傷感又會邊跑出去殺底片，拿去沖印店，然後一次又一次的循環著。
拍不出什麼好照片，就會對自己說反正是在試鏡頭；眼殘對不利的時候，乾脆就泛焦亂拍。其實曾經很想認真拍照，但愈認真就愈沒感覺，乾脆放手。工作愈忙的時候，常常對著一狗票的照片發呆，偶爾會想起一些事情，最後往往任其流入江洋，逐漸淡忘。
這就是被人戲稱為教科書的這裡，一堆亂照片的集合這樣，但應該會一直都是如此。
河堤邊散步，後面響起了模倣消防車的口哨聲，回頭看到她一派輕鬆地踏著輕快的步伐而來，也帶了好心情給我。
台北的阿勃勒最近也開始開了。
雨後的植物總是有幾番味道。
離開了河堤，一路散步閒晃到士林。
這隻店狗蠻懂事的，兩支鏡頭對著他的時候，他挺直了腰桿擺起姿勢，還兩邊都各停一下，看大家都拍完才過來打招呼聞我有沒有腳臭，是個聰明的孩子。
最近好像蠻常在士林夜市亂晃的。
離開夜市前，這位飲料攤的小開相當熱情，正準備要開飲料桶請人喝，笑容極迷人。
此兩卷相片集的其他照片：Ricoh KR-10 Super vol.4、Ricoh KR-10 Super vol.5
感覺得出來你的怒。
回覆刪除Re: 徐卡文 <7887845397286789620>
回覆刪除老婆小孩又感冒了。
天氣陰晴不定吧忽涼忽熱，
回覆刪除這禮拜回溫，看看情況應該會好轉
Re: 徐卡文 <7365107557482119559>
回覆刪除而且台南還淹大水。
好啦，別想太多。
回覆刪除應該是因為媽宗痛今天沒有等粥每清小姐的關心。
刪除過了十年，這些生活紀錄就會變成寶了！繼續下去！
回覆刪除謝謝您，貴在累積的力量，我定會持續下去。
刪除