跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

[大判相機] Busch Pressman Model D.1950

約生產於 1950 至 1960 年代,生產的公司是 Busch Precision Camera Corporation,該公司是一個位於美國芝加哥的相機製造公司, Sears 公司以 Tower 品牌販售的版本 Tower Press Camera,有兩個版本,6x9 (公分) 的版本是 Busch Pressman Model C,而 4x5 (英吋) 的版本即為本文的 Busch Pressman Model D。 據 資料 指出,Busch 生產過以下幾款相機: Busch Pressman 6x9 Busch 4x5 Pressman Busch Pressman Model C 2 1/4 x 3 1/4 Busch Pressman Model D 4x5 Tower Press Camera Busch Pressman Model D 的行動力可與一般大型相機做出區隔: 一、除了如一般大型相機以 Ground Glass Back 的機背對焦屏直接對焦外,機身亦有 Rangefinder 以及 Sports Finder 的對焦方式。 Rangerfinder 有兩種不同的版本,一種是採用在機身側邊的 Kalart Rangefinder (早期版本),一種則在機身上方的 Vue Focus Rangefinder (後期版本)。 二、機身紥實精巧,不論收合或是打開拍照都比一般大型相機來得小,認真來說是真的可以手持的 4x5 相機,如果拿 Mamiya Universal 這款大型中片幅相機來相比,Busch Pressman Model D 可以拍攝更大的片幅卻比 Mamiya Universal 輕,更由於可以收合的蛇腹設計,也比 Mamiya Universal 更好攜帶,同樣的 Press Camera 市場,老實說 Busch Pressman Model D 的行動力絕對更適合所謂新聞攝影。 Busch Pressman Model D 一般常拿來與另一款知名的美國 4x5 相機 Graflex Crown 來做比較,同樣是機身無焦平面快門的機種,Busch Pressman Model D 的尺寸比 Graflex Crown 小,在組裝上卻感覺更加精實穩固,操作順暢直覺。 唯一的弱點就只是缺...

四號小姐的啟示

(Konica Autoreflex T4,AR Hexanon 21mm f4,Fuji REALA 100) DRE 神明最近在聖經中又加了新的一章: 核必公投 ,身為 DRE 教的子民請您務必咀嚼再三。 其中最後一段談到新進的四號小姐: 新進 4 號小姐一名,長相標緻,中外混血,身材曼妙,功夫超群,收費合理,也極度重視安全,保險套不計成本給你套三個,不放心再加你兩層,套到你滿意為止。她就只有一個小問題,性病還沒治好。你投票吧你。 不才在下的讀後感想: 性病無藥醫,棉條無處棄; 保險套五層,依舊沒意義。

週六上午

天氣晴,本日上演一位慈祥的父親,早起帶著心愛的女兒到附近早餐店吃過早餐,並在公園裡遊玩的戲碼,本來應該可以輕鬆拿下最佳親情獎,結果那天好多爸爸也在公園裡角逐這座獎項,而且全是爸爸,台灣的職業婦女母親們妳們辛苦了。 (攝於立農公園,Sony NEX-3 IR,16mm f2.8,IR 720 Filter)

友朋。

(Mamiya Universal,127m f4.7,FP100C) 一年多以前,我們在同一個餐廳,他們帶了 SX-70、SLR 690  和 Polaroid 250 (抱歉年代久遠可能不夠精確),那是我第一次看到即時顯像的拍立得照片,只記得當時我直嚷著這底片也太貴,玩不起啦啦啦的,呼嚕呼嚕酒足飯飽後,接著幾個也不怎麼年輕的男人,在我未向家長報備的情況下,跑去夜唱到凌晨五六點,記得那天回來我黑了大半年,之後想跟家長申請出去跟他們吃飯就屢遭退件,只能在網路上或 Line 上聊表思念,雖然中間也曾偷偷私會幾次,但這始終已成了地下化的戀情。 為了那一次以後無法再聚的悔恨,我踏上了尋找拍立得之路。第一台入手的是 微撕拉 ,Contax Preview 拍出來的成像逗得他們好開心,微撕拉的名字就是他們一起制定的;接著我找到一台 Polaroid 350 ,總算在這條思念的道路上可以跟他們一樣拍出滿滿一張的撕拉。 好久不見,那滿滿的思念全溢在相紙上,保持聯絡阿親愛的你們。

慣習就好。

司空見慣,常不以為意。 今天下班停紅綠燈的時候看見一位盲人大姊過馬路,用她的手杖沿著馬路邊緣探索著,到一個她認為可以橫越馬路的地方,瞬的右轉伸長了手杖快速左右探索,就這麼快步穿越了馬路,一來她走的並不是斑馬線,二來她行走的速度就像有著十成十把握不會被來車給撞到,老實說我嚇了一跳。 我在想,所以她每天都是這樣走?她的所有感官都告訴她這樣是沒問題的?換做是我,如果失去了視覺,我也會有這樣的勇氣橫越馬路? 還是,習慣了就好?

Sony NEX3 IR 機試玩

好友 Kris 熱心借了我一台拆低通換半 IR  片的 NEX3,很感謝他,週末便試玩了幾張。 老實說,顏色看久了會膩的說。XD。而且我兩百年沒用數位相機了,是有那麼一點不習慣來著。 (攝於立農公園,Sony NEX-3 IR,16mm f2.8,IR 720 Filter)

美麗的傷感。

有一種傷感,體驗過才懂得美麗。