TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
使用相機:Ricoh KR-5 + Ricoh XR Rikenon 50mm f2
使用底片:AGFA Vista 400
沖洗店家:公館五色鳥
需要先了解 Ricoh KR-5,請參考這篇。
按照原定計劃,在測試完 ZENIT 122 之後,拿出這台金屬機身的 Ricoh KR-5,搭上 Ricoh 原廠標準鏡,這台的快門聲,很 Man!不過 Ricoh XR Rikenon 50mm f2 塑膠的質感實在不搭,下次應該會想帶 M42 的金屬鏡出門。
實際使用發現,有一個捲片後鎖定快門的設計,注意看照片裡的紅點,當捲完片之後,有紅點表示可以拍攝,若把捲片器往內壓回,快門即無法按壓;有些老機的設計方法是做一個鎖定鈕,有些則沒有這項設計,個人認為 Ricoh KR-5 這個設計是蠻方便且貼心,同時這個鎖定的機制也可以關閉測光系統,就不會沒事白白浪費電了!
不廢話了,看一些照片好了!
#1 換機油免費洗車
我去換機油的時候,帶出門,順便拍下這家機車行「揪甘心」的服務,換機油免費洗車!!讚啦!順便說一下,我沒看過機車行生意好成那樣的,興隆路上有好幾家機車行耶,偏偏就是他們家要排隊,大家還是喜歡去!
#2 甜蜜入睡
#3 抓抓頭
#4 模倣
#5 好好吃哦!
#6 這就是大水管嗎?
#7 最近應該是這種花的季節吧!開得很猛!
#8 這是一棵被同事種得很誇張的室內盆栽!
#9 The WALL,這牆
其他照片請至:Flickr Ricoh KR-5 vol.1
下一位出列,Petri 2.8 Color Corrected Super,雖然知道後鏡似乎救不太回來,不過還是想知道拍出來會怎麼樣。
讚啊!!!
回覆刪除本週要來去拍桃園的音樂航空站
希望也要順利啦~
期待大大的作品呀!!
回覆刪除kr-5配上agfa似乎還不錯
回覆刪除Re: applepeel <3560345028751555672>
回覆刪除太久了,記得那時候好像覺得色調很怪之類的 XD
我也有一台全黑的Ricoh KR-5,也在露天市場標回來的
回覆刪除但鏡頭為RICOH 55mm F2.2,開始起霉
還有快門的速度與原有的速度不一
請求維修方法?