跳到主要內容

16GB ROCm 本地 LLM-as-a-Verifier 實測數據：Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
張貼留言

[好康推薦] Time時代雜誌優惠，每天只要20元！

TIME雜誌，每天20元
TIME 雜誌，每天只要 20 元！

TIME 美國時代週刊介紹
編輯特色
  • 全球銷售量NO. 1的時事週刊：1923年創刊至今，191個國家發行，共5個地區版本，最初發行9000份，現己高達600萬份以上，每週讀者高達3000萬以上，所到之處皆有TIME。
  • 全球各地擁有最多戰地記者，經常有獨家報導：每期內容皆由『編輯群』製作，與一般雜誌主編或專欄制不同，特約記者人數超過400位，從65萬以上的報導文字中，節錄3至4萬字刊登，編輯之縝密與精簡，由此可見一般。
  • 最全面的综合雜誌：濃縮一週內新聞、科技、商務、醫學、投資、宗教、人物、運動、電影、音樂、休閒等熱門話題。
  • Time「時代週刊」亞洲版全書以英文編寫，每年出版4次增訂版及不定期出版特刊，增訂本等同2期訂閱期數，亞洲版零售價每本NT$180。
得獎紀錄
  • TIME wins two 2006 National Magazine Awards for GENERAL EXCELLENCE and BEST SINGLE-TOPIC ISSUE。
  • Time is the No. 1 choice among all regional news and business titles (S.E. Asia+Seoul+India) 2006。Time is voted the most influential publication (S.E. Asia+Seoul+India) 2006。
訂閱TIME的理由
  • 廣告是”活的英文”：TIME的廣告收入， 高居世界第一。 企業界投入龐大的廣告經費，其撰文、插圖、文章， 都是上上之選，閱讀TIME內的廣告英語，就是學習「活的英文」」，藉以磨練對英文的 感性與力量。
  • 世界著名的語文學家羅文-邱斯吉(N. Chosky)說：「閱讀高水準編寫的刊物，能讓你的語文能力迅速提昇」而TIME正是一本世界公認，全球第一的高水準刊物，所以現在開始訂閱TIME正是時候。
  • TOFEL、GRE、GMAT、SAT等測驗的寶貴題庫：計劃留學，靠一般參考書是不夠！TIME是全球高等教育師生、專業人士及菁英領導階層閱讀率最高的新聞雜誌。
獨家『VIP 』訂閱服務
  • 免費轉寄海外：如讀者因出國留學或外派，需長時期居住海外，我們將免費轉寄雜誌至讀者指定轉寄國家。TIME全球191個國家發行，共5個地區版本，所以轉寄美國則為美國版，在日本則為亞洲版，以此類推。
美國時代週刊 (Time)出版英文寫作指南How to write it？

由美國時代週刊 (Time) 編輯出版原裝進口，這本書告訴你各類型英文寫作模式的方法，例如：商用電子郵件、論文、研究報告、甚至連英文標點符號的使用，都告訴你！是工商業人士、師生族群不可或缺的工具書，自用、送禮，開心，有面子。

Time美國時代雜誌特別加碼推出師生方案超值優惠回饋專案，活動自98/8/1正式開跑囉，限時限量，趕快來搶喔！

師生優惠方案

師生方案一年期 原價 2160 元 調降 優惠價 1,990 元
師生方案二年期 原價 4320 元 調降 優惠價 3,880 元
師生方案三年期 原價 6480 元 調降 優惠價 5,670 元

超級優惠師生方案
TIME 時代雜誌師生專案

標籤：

留言

張貼留言

回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！

這個網誌中的熱門文章

有點誇張的準專業機．Minolta Alpha 7 (Dynax 7、Maxxum 7)．2000

題外話，去年幫朋友標了這台，遲遲未寫一篇介紹，其實是有私心的，好東西少一點人知道比較不會搶。 上個禮拜因為自己要 幫朋友拍攝一場婚禮 ，無巧不巧原本服役的 707si 掛了，於是跟朋友商借了 Alpha 7 來拍，拍過之後就一直放在身邊，說實在的有點捨不得還，快門聲，手感，強大的性能，實在是有點誇張。 拿 Alpha 7 拍我女兒的時候，因為有 LCD，我女兒會說我要看，而不是問我 把拔這台是底片的嗎 ？讓我解釋半天她也不相信，直指著 LCD 要看照片，很妙，但是個識貨的女孩，一眼就看出這台相機的特點，機背有 LCD。 於 1998 年推出頂級機 Alpha 9 之後，2000 年推出的 Alpha 7 除了快門速度和連拍速度緊挨著機皇而沒有強過頭，卻在準專業定位的 Alpha 7 身上加入多項先進的功能，其中許多 Alpha 9 所沒有的，相當驚人，整理於下： ※ 全新開發之 CDC912 對焦系統，九點寬域對焦，排列為黃金矩陣 ，宣稱為世界首快之 AF 對焦；機背轉盤可選擇對焦點並直接對焦。(Alpha 9 為三點寬域自動對焦) ※ 首見機背大型點矩陣式 LCD 大幅增加人機溝通性能，若採垂直控制拍攝時LCD會隨之轉為垂直。 ※ DMF (Direct Manual Focus) 功能 ：透過機身可讓鏡頭全時手動，無須撥動AF/MF鈕 ※ 世界首見 STF (Smooth TransFocus) 特效 ，可使每支鏡頭作出特殊背景鬆濛感，類似Minolta STF 135mm f/2.8[T4.5]的效果 (作用原理：相機自動切換為多重曝光，並於曝光時逐漸縮小光圈葉片)。[Custom 3] ※搭配新一代納入距離編碼器的鏡頭時，Alpha 7 可採 ADI (Advanced Distance Intergration) 測光模式 ，或配合 TTL 4 區閃燈測光。 ※一推出即支援 SAM 超音波馬達鏡頭。(Alpha 9 需要更新韌體) 功能很多很強大，底下就先挑一些比較有意思的設計做介紹。 》十四區蜂巢式測光，LCD 顯示 當同時按下 AE 曝光鎖 (AEL) 與 LCD 顯示選擇鍵 (DISP) 時，會顯示 14 區各分區的相對EV值，與灰色部份比較，白色的為正值，黑色的為負值，以上圖為例，畫面最暗的地方是 –2.3，最亮的地方是 ...
5 則留言
閱讀完整內容

[古典相機] M 系列快門最速．ME MX 合體．Pentax ME Super．1980

Pentax M 系列機身中，快門速度達到 1/2000 秒的，就只有 ME Super 以及需搭配特殊鏡頭 AF 35-70 f2.8 自動對焦的 ME-F 。 為什麼要說 ME Super 是 MX 以及 ME 的合體呢？ MX 是只有曝光手動控制， ME 是只有光圈先決，另有幾台 M 系列 1980 年代出的 MG、MV、MV1，也都只有提供光圈先決，除了改變 EV 值外，沒辦法手動調整快門速度，ME Super 是整個 M 系列機身第一台同時可以手動設定快門也能 Auto 快門的機身，或許是因為希望機身維持像 ME 一樣小，所以在快門設定的功能上，並不像其他家是用機頂轉盤的方式 (OM-2 是用機身接環前的轉環)，Pentax ME Super 的快門設定是機頂上的兩個鈕，只能在觀景窗內，透過 LED 指示燈顯示所選用的快門速度，同時也會顯示是否 Over 或者 Under。 機身的設計與 ME 幾乎相同，除了機頂右邊的轉盤處加了兩個手動設定快門速度的鈕，其他都相同，寬度和高度就比 ME 多了一點點，真的只有一點點，就各多個 0.5mm，但重量卻比 ME 更輕，猜想是使用了更輕量的機身結構吧，而可搭配的捲片馬達手把也能通用 (ME、ME II)。 MX 與 ME、ME Super 之比較》 機型 生產 體積 (mm) 重量 快門速度 閃燈同步快門 MX 1976-1985 135.8 x 82.5 x 49.3 495g 1 ~ 1/1000, B 1/60 ~ 1, B ME 1976-1980 131 x 82.5 x 49.5 460g 8 ~ 1/1000, B 1/100 ~ 8, B ME Super 1980-1987 131.5 x 83 x 49.5 445g 4 ~ 1/2000, B 1/125 ~ 4, B ...
16 則留言
閱讀完整內容

Nikon D7000 的感光元件 Sony 做的，官方不公開承認，chipworks 拆給你看！

(圖片來源： Teardown of the Nikon D7000 DSLR by chipworks ) Sony IMX071 The Nikon D7000 comes equipped with a DX format (APS-C) sensor fabricated by Sony, the IMX071. With a 16.2 Mp resolution, this is the second highest resolution of any Nikon DSLR, behind the 24 Mp D3X (dpreview.com). This image sensor features a pixel size of 4.8 µm x 4.8 µm (as seen in the Bayer patterned RGB color filters). The sensor displays improvements in pixel layout and process features, as compared to previous generations of Sony DSLR sensors. 有圖有真相，完整拆解請直上： Teardown of the Nikon D7000 DSLR by chipworks
張貼留言
閱讀完整內容