TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
森山的書,總是很熱門,借期都不會太長,後面總是有人預約。這本文字也很多,在幾乎借完圖書館所有森山的中譯本之後,看這本的時候顯得不容易專心,所以有點隨興地翻閱,主要是看看照片,也許之後再借來重看一次吧。
我喜歡在 08.青山篇最末的一張樹的照片。
另外節錄一句書末座談會沈昭良老師回答「森山的手法在數位潮流下是不是難再複製或模倣」:
關鍵是透過這類的風格手法想書寫或陳述些什麼,也就是內容文本的問題。而不再單是外顯的風格或手法的問題。
我很喜歡沈老師的攝影集,特別是玉蘭那一本。
照片打動人,跟背後的故事多少有一點關係,解釋為文學的深度意涵或許是一種方法,不過我倒認為,跟與觀者的連結比較有關係,就像蘇東坡與佛印的故事那樣。
宋代文人蘇東坡,才華洋溢,堪稱文壇上的奇葩,他有一個相知甚篤的方外之交「佛印禪師」,平時二人在佛學、文學上總不忘相互切磋,但每次老是讓佛印禪師佔盡上風,蘇東坡心裡總覺不是滋味,所以百般用心,想讓佛印下不了台。
一天,兩人相對坐禪,蘇東坡一時心血來潮,問佛印禪師:「你看我現在禪坐的姿勢像什麼?」
佛印禪師說:「像一尊佛。」
蘇東坡聽了之後滿懷得意。
此時,佛印禪師反問蘇東坡:「那你看我的坐姿像個甚麼?」
蘇東坡毫不考慮地回答:「你看起來像一堆牛糞!」
佛印禪師微微一笑,雙手合十說聲:「阿彌陀佛!」
至於文字如果強到讓別人看不懂的照片「顯靈」,或許只是增加了照片的可理解性,但我認為很多攝影家不愛搞這一套的,他們要用照片決勝負,而不是告訴你他在拍什麼或想什麼。當他決定擷取某個時機點的影像時,其實已經將畢生的哲思融入其中了。
至於大師們拍的照片是什麼意思?就交給看倌們自己去猜囉!
留言
張貼留言
回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!