跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

愛器材的心情,黃乙玲告訴你

(上圖來源:影片截圖) 沒錢只好賣掉舊愛的心情 愛到才知痛 愛到你心驚驚 想到你心痛痛 (沒錢留不住,想到就大痛) 但是我無法度將感情收煞 看到你愛別人就親像你愛我 按怎攏不心痛 (忘不了你的手感,更痛) 我已經無資格對你講條件 等別人對待你就親像你對我 愛到才知影痛 (窮人談什麼屁條件,嗚) (From: http://youtu.be/CXvbT92xFFM ) 遺失了心愛的相機 心痛酒來洗 聽講風颱彼日‧分開彼日‧適合一個人乾杯 (廢話,弄丟超級懊悔,啤酒拿來,乾杯!) 對你的愛,愛到最後三長兩短,阮只好用真心來賠 (馬的,再買一台!) (From: http://youtu.be/x8XBxayxsqM ) 嗯,黃乙玲很懂愛器材的心情!

快門聲響的樂曲 Shutterlog Remix

Shutterlog 這個 Youtube 頻道,收集了大量網友分享的使用相機的影片,如果你有自己製作的使用相機的影片,可以寄 Email 給頻道的管理者。 這是一個可以秀你的相機的園地! 看底下這段影片,Move Your Body! (From: http://youtu.be/AXZXdkZw0mw )

Samsung 謎樣的新機.復古造型 Retro R1

(上圖來源: mirrorlessrumors ) 上圖裡,中間紅線框起來那一台,凌晨時分有國外網站報導出來,可能是 Samsung 可換鏡的無反相機,據說會有復古造型,APS-C,24MP,最速快門 1/8000 秒,其他規格記不起,但後來 首先傳出消息的網站 就被下封口令。(也可參考 PhotoRumors ) 另外紫線框起來那台很值得注意,感覺是個方盒子的東西,到底 Samsung 在打什麼主意?難不成真想搶下哈蘇迷?不過如果做成 35 片幅也可以。 先來一張哈蘇壓壓驚。(下圖來源:Google Search)

[底片集] 過期十多年的正片與人肉測光表的逆襲.Pentax 6x7 卷一

使用相機:Pentax 6x7 with S-M-C 6x7 75mm f4.5 使用底片:Fuji RHP 400D 過期 (當 100 拍正常沖) 沖掃店家:公館五色鳥 故事是這麼來滴,時間是八月底,卡文徐問我一個問題,「過期十年的正片怎麼拍才行?」,我拍都沒拍過要我答個屁,於是他老兄飛快將底片寄,我也火速借來 6x7。 沒有測光頭的 6x7,靠著人肉測光表還是行,因為是過期,當做 100 來拍拼一拼,晴天十六法則亂拍搞得定,看看成品還可以,直接看底片更是快哭泣,真是好看到不行。 雖然只有五成的勝率,但爽度說實話沒得比,大概從此撩下去。 初次玩耍 120,可能不太靈,前幾張有疊片的問題,但實際原因也不明,拍到後來計數器很怪奇,飯沒炊熟就偷掀太心急,只有十張實在是少個極,是個很燒錢的遊戲。 可以看的五張在這裡。 其他很爛看到可能會嚇死你: Pentax 6x7 vol.1

[底片集] 抱歉自以為是文青.Pentax MZ-L 卷二十二

使用相機:Pentax MZ-L 使用底片:AGFA CT Precisa 100 過期 沖掃店家:公館五色鳥 朋友問說幹嘛拍成這個德性,在下分析有幾個原因,一是正片放過期,二是來不及退冰,三是拍到 老樹之死 底片也哀悽。 很抱歉,自以為是文青,搞得大家傷眼睛,照片隨便看就行。 九月初,看完沖好的 Minolta 卷七 ,想起沙崙又衝去。 沙灘上是好友的樂音,靈犬小白一旁聆聽。 沙灘上的小家庭,歡樂無比真溫馨。 Angel 玩得也盡興。 總算拍到一次馬兒沙灘行。 前幾個禮拜回台南,騎著 50 到處去。 返北刻意走 17,東石蚵仔”有夠青”。 趕快結束文青癮,使用正片”愛注意”。 其他本卷照片: Pentax MZ-L vol.22

把拔這台是底片的嗎.Angel

(Pentax MZ-L,FA 43mm LE,AGFA CT Precisa 100 過期) Angel 讓我們拍完照片,或用 DV 錄她一小段影片,都會主動跑來跳躍著說:「我要看我要看」。 我之前會需要跟她說:「我這台是底片的,所以要等洗出來我們再一起看好嗎?」 她會想一想,然後用好像有點懷疑我是不是唬弄她的樣子,點頭說好。 最近她會在我拍完照片之後問我:「把拔這台是底片的嗎?」被她這樣一問,真是太有趣! 不過我還在考慮,我要不要告訴她有一種叫做拍立得的東西,只是妳老子我實在買不起。

滲血的不可思議

(攝於淡水沙崙,Pentax MZ-L,FA 43mm LE,AGFA CT Precisa 100 過期) 跟著超人雲遊海底,與大洋遊俠互道別離。 上岸回到如夢似幻的回憶,以為難再滾動的熱情,此刻卻悄然升起。 因為滲血,卻感到不可思議。 原來夢境也是實境,只是還沒發生而已。