跳到主要內容

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

[學顧]學顧學顧... 學分要顧...

作者 : ZENG (工友小正)
標題 : 學顧學顧... 學分要顧...
時間 : Wed Mar 31 09:09:40 1999

這學期的時數... 應該是全計中排行前幾名的吧...
學姐說那是『開低走高』....
我想她說的是"誰叫你一開始填那麼少班.. 死吧!! 哈哈"
唔.... 真狠....

每天晚上... 除了一、三是我刻意留下來給社團的時間...
其他的晚上都會出現在計中....
就連雙數週的星期六晚上也不例外...

其實這種死命掙錢的心態是值得做研究的...
通常歸咎其行為之動機後.. 通常可以發現這種人分成兩類..

一種是真的很缺錢..
這種人可能是住在外面.. 或是辦了手機..
還沒跟家裡報備... 或是家裡不同意的情況下自己先出錢...
生活在每天都被房東摧討房租的壓力之下....
會分泌出腎上腺素.... 充滿戰力的待在某地方搞錢...
這種人可以用詹腥汗之流來做為例子...

另外一種是人生的悲劇... 或說是忘情於工作.. 難以自拔..
何以寄情於工作... 通常可以歸因為以下二點....
一是交不到馬子的羅漢腳....
二是被馬子拋棄的可憐蟲...
這兩個致命的動機會讓一個人失去理智的搞錢...
費盡心思也要幫別人代班... 絕不能被別人搶先一步...
尤其是看到新考進來的學顧和老的學顧....
帶著女朋友來計中談情說愛.... 上班還有女人陪的心路歷程...
其心淌血... 只好化悲憤為力量.... 不擇手段把那些人的班搞過來值...
事實上這種人算是犧牲小我... 成全別人的感情的偉大人物..
因為根據作者本人的研究論文集第五章提到...
這些人沒來上班的十大原因之首... 正是陪女朋友散步聊天...
ㄠ.... 就連學姐也默許這種不成文的規定.......
不公平.... 學姐也有男朋友.... 我要上訴.... 唔.. 張小姐也有老公..
單身漢果然是弱勢族群... 生存在這種主流文化壓迫之下....
明哲保身.... 還是乖乖幫別人代班吧.. 認命點...
講到這裡.... 流下幾行清淚... 咦.. 下雨了.. 忘了帶傘.. :(

每天晚上待在那裡... 說實話也是蠻休閒的一種活動...
相較於 user 為了做報告拼老命的把別人趕走....
除了自己認識的美女 (哦不... 只要美女就行.. :p)
和比我還流氓的大哥會跟我搶學顧的位子外....
大部分時間是可以一屁股坐著.... 沒人敢來趕你....
花個三小時坐在那兒把教心報告生出來... 還有幾百塊的薪餉可以領..
想想也頗令人感動落淚... 你知道... 窮人家小孩嘛...
買雙球鞋也得等到五折... 還是沒人敢穿的樣式....
便宜得要死.... 買了買了...... 不買太可惜啊...

學姐也是頗照顧咱們這群值班的學顧的呢....
雖然跑出去玩到計中快關門了才回來...
但是還帶了西瓜來封住我們的嘴...
唔.... 學姐真是很好很好的人呢.....
耶... 又可以多吃一片....... 賺到了..

每次寫寫都不知道怎麼收尾.....
只能請大家待續吧.... 此外在這裡也要徵召一下有心進計中的年輕人..
承本文作者所言.... 有馬子在計中是主流... 請大家告訴大家..
除非你真的想搞很多很多錢.....
否則千萬別讓計中電腦成為你的女朋友...
女朋友太多真的不好... 你知道的.. 男人專情是種可貴的情操...
可恨的是這群女朋友動不動就要耍大小姐脾氣...
沒事當個機... 出個槌......
更可怕的是..... 還得借給別人用... 用壞了怎麼辦.. 嗚.......
心碎了...............

咦... 好像跟標題無關.....

zeng 計中實習生
週休一日計中表率


--
※ Origin: YKLM大學
◆ From: BmgThree.Dorm5.nccu.edu.tw

留言

  1. 您好^^

    我們是台北的民宿業者
    很欣賞您寫的美食旅遊文章
    不知道是否可以跟您交換連結 ^^

    http://www.taipeisleep.com/
    這是我們的網站
    裡面除了我們房間
    也為讀者介紹台北各地的美食與景點
    網站內容已被 google 評價為 PR3

    交換連結的目的是讓讀者能更容易找到高品質的文章
    如果不方便的話也很抱歉打擾您了
    謝謝您^^

    TaipeiSleep敬上

    回覆刪除

張貼留言

回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!

這個網誌中的熱門文章

有點誇張的準專業機.Minolta Alpha 7 (Dynax 7、Maxxum 7).2000

題外話,去年幫朋友標了這台,遲遲未寫一篇介紹,其實是有私心的,好東西少一點人知道比較不會搶。 上個禮拜因為自己要 幫朋友拍攝一場婚禮 ,無巧不巧原本服役的 707si 掛了,於是跟朋友商借了 Alpha 7 來拍,拍過之後就一直放在身邊,說實在的有點捨不得還,快門聲,手感,強大的性能,實在是有點誇張。 拿 Alpha 7 拍我女兒的時候,因為有 LCD,我女兒會說我要看,而不是問我 把拔這台是底片的嗎 ?讓我解釋半天她也不相信,直指著 LCD 要看照片,很妙,但是個識貨的女孩,一眼就看出這台相機的特點,機背有 LCD。 於 1998 年推出頂級機 Alpha 9 之後,2000 年推出的 Alpha 7 除了快門速度和連拍速度緊挨著機皇而沒有強過頭,卻在準專業定位的 Alpha 7 身上加入多項先進的功能,其中許多 Alpha 9 所沒有的,相當驚人,整理於下: ※ 全新開發之 CDC912 對焦系統,九點寬域對焦,排列為黃金矩陣 ,宣稱為世界首快之 AF 對焦;機背轉盤可選擇對焦點並直接對焦。(Alpha 9 為三點寬域自動對焦) ※ 首見機背大型點矩陣式 LCD 大幅增加人機溝通性能,若採垂直控制拍攝時LCD會隨之轉為垂直。 ※ DMF (Direct Manual Focus) 功能 :透過機身可讓鏡頭全時手動,無須撥動AF/MF鈕 ※ 世界首見 STF (Smooth TransFocus) 特效 ,可使每支鏡頭作出特殊背景鬆濛感,類似Minolta STF 135mm f/2.8[T4.5]的效果 (作用原理:相機自動切換為多重曝光,並於曝光時逐漸縮小光圈葉片)。[Custom 3] ※搭配新一代納入距離編碼器的鏡頭時,Alpha 7 可採 ADI (Advanced Distance Intergration) 測光模式 ,或配合 TTL 4 區閃燈測光。 ※一推出即支援 SAM 超音波馬達鏡頭。(Alpha 9 需要更新韌體) 功能很多很強大,底下就先挑一些比較有意思的設計做介紹。 》十四區蜂巢式測光,LCD 顯示 當同時按下 AE 曝光鎖 (AEL) 與 LCD 顯示選擇鍵 (DISP) 時,會顯示 14 區各分區的相對EV值,與灰色部份比較,白色的為正值,黑色的為負值,以上圖為例,畫面最暗的地方是 –2.3,最亮的地方是 ...

[古典相機] M 系列快門最速.ME MX 合體.Pentax ME Super.1980

Pentax M 系列機身中,快門速度達到 1/2000 秒的,就只有 ME Super 以及需搭配特殊鏡頭 AF 35-70 f2.8 自動對焦的 ME-F 。 為什麼要說 ME Super 是 MX 以及 ME 的合體呢? MX 是只有曝光手動控制, ME 是只有光圈先決,另有幾台 M 系列 1980 年代出的 MG、MV、MV1,也都只有提供光圈先決,除了改變 EV 值外,沒辦法手動調整快門速度,ME Super 是整個 M 系列機身第一台同時可以手動設定快門也能 Auto 快門的機身,或許是因為希望機身維持像 ME 一樣小,所以在快門設定的功能上,並不像其他家是用機頂轉盤的方式 (OM-2 是用機身接環前的轉環),Pentax ME Super 的快門設定是機頂上的兩個鈕,只能在觀景窗內,透過 LED 指示燈顯示所選用的快門速度,同時也會顯示是否 Over 或者 Under。 機身的設計與 ME 幾乎相同,除了機頂右邊的轉盤處加了兩個手動設定快門速度的鈕,其他都相同,寬度和高度就比 ME 多了一點點,真的只有一點點,就各多個 0.5mm,但重量卻比 ME 更輕,猜想是使用了更輕量的機身結構吧,而可搭配的捲片馬達手把也能通用 (ME、ME II)。 MX 與 ME、ME Super 之比較》 機型 生產 體積 (mm) 重量 快門速度 閃燈同步快門 MX 1976-1985 135.8 x 82.5 x 49.3 495g 1 ~ 1/1000, B 1/60 ~ 1, B ME 1976-1980 131 x 82.5 x 49.5 460g 8 ~ 1/1000, B 1/100 ~ 8, B ME Super 1980-1987 131.5 x 83 x 49.5 445g 4 ~ 1/2000, B 1/125 ~ 4, B ...

Nikon D7000 的感光元件 Sony 做的,官方不公開承認,chipworks 拆給你看!

(圖片來源: Teardown of the Nikon D7000 DSLR by chipworks ) Sony IMX071 The Nikon D7000 comes equipped with a DX format (APS-C) sensor fabricated by Sony, the IMX071. With a 16.2 Mp resolution, this is the second highest resolution of any Nikon DSLR, behind the 24 Mp D3X (dpreview.com). This image sensor features a pixel size of 4.8 µm x 4.8 µm (as seen in the Bayer patterned RGB color filters). The sensor displays improvements in pixel layout and process features, as compared to previous generations of Sony DSLR sensors. 有圖有真相,完整拆解請直上: Teardown of the Nikon D7000 DSLR by chipworks