TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
各家防手震功能喊得震天價響,號稱三級四級的,有的是機身防震,有的是鏡頭防震,到底是什麼意思啊? 在談防手震機制之前,我們要先從「安全快門」的觀念談起。 簡單來說,安全快門就是讓你拍照不會因為手和人體的自然晃動而糊掉的快門速度,安全快門是與鏡頭焦距相關的。 以 135 規格來說:安全快門 = 1 / 鏡頭焦距 (秒) 因此換算至 DSLR,則安全快門 = 1 / (鏡頭焦距*X) (秒),其中 X 因不同廠牌而有不同的數值,如 Canon 為 1.6,N,S,P 為 1.5,4/3 System 為 2,簡單來說,安全快門必須換算為等效 135 規格的焦距。 舉例來說,一顆 20mm 的鏡頭,在 DSLR 上換算等效焦長為 30mm,因此安全快門為 1/30 秒,也就是只要快門速度比 1/30 秒來得快,就安全。 而一顆 200mm 的鏡頭,在 DLSR 的安全快門則為 1/300 秒,也就表示,鏡頭焦距愈長,愈需要較快的安全快門才能在手持拍攝時保持穩定不晃動。 那麼相機的防手震機制是做什麼用的?不用管安全快門了嗎?當然不是,防手震機制,主要是用來幫助你,可以使用較慢的快門速度,而透過相機或鏡頭內部的機制,穩定成像,而廣告詞裡所以稱為防手震一級、防手震二級,也就表示你可以最慢使用到比安全快門慢幾級的快門。 至於防手震級數與安全快門的算法,有前輩寫過,所以請參考: http://tnphoto.pixnet.net/blog/post/26494016 簡單地說,一顆 200mm 的鏡頭,在擁有一級防手震機制的 DSLR 上,原本的安全快門為 1/300 秒,透過防手震機制至少最慢可以用到 1/150 秒的快門速度;而在二級防手震機制的 DSLR 上,則快門最慢可以用到 1/75 秒,以此類推。 整體來說,安全快門算是個參考數值,還是應該了解正確的穩定握持相機的方法,或者使用腳架。當然如果物體動得比你的快門速度還快,當然怎麼樣都不會清楚滴! 您可以參考這一篇: 如何增加手持拍攝的穩定度? 而如果你不太清楚光圈和快門之間的關係,也可以參考這篇: 何謂 EV?