跳到主要內容

16GB ROCm 本地 LLM-as-a-Verifier 實測數據：Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
張貼留言

Samsung NX 最新 Rumor

3325471114 ff8566ed9c Samsung NX 10 specs and release date
圖片來源：Samsugn NX-10 Launching Show Models in PMA2009, From samsungimaging.

據說型號是 Samsung NX10，12月10日發售！

  • Mount: Samsung NX [看來是全新的 Mount，就看推出後誰來做個轉接環了]
  • Sensor: 23.4 x 15.6mm APS-C CMOS 14.6 mega pixels (1.5x) [APS-C 尺寸的 CMOS，比起 M4/3，還是讓我心動得多！]
  • Body: polycarbonate sealed against dust and moisture
  • Image stabilization: Optical Image Stabilization system (OIS)
  • Processor: DRIM image processor
  • Format image: JPEG, DNG, JPEG-DNG
  • Video: FullHD 1080p/30fps
  • Recording format: H.264 HD
  • Recording quality: SF, F, N
  • Audio: Built-in real stereo
  • Audio format: AAC
  • Focus system: Contrast Autofocus with 16 AF areas, face detection and tracking mode, manual focus (focus by wire)
  • Shutter: mechanical shutter, bulb, 30s-1/6000, 4.5fps
  • Sensitivity: ISO 100-3200 (50-6400)
  • Viewfinder: Electronic Viewfinder 1080p/260Hz, 100% coverage, 1X magnification
  • Main screen: AMOLED 3″, 921.000 dots, 120Hz
  • Flash: Pop-up, GN12
  • Connectivity: HDMI, USB 2.0, Video/Audio out, BlueTooth, WiFi
  • Storage media: SD/SDHC

Rumors From：
(K4) Samsung NX specs! Release on December 10!
Samsung NX-10 specs and release date

Samsung NX 系統於 PMA 2009 上的介紹影片

另外還有找到一些照片，都是韓文懶得翻了，有興趣的連過去看看圖，想看懂字的話再用 Google。http://www.slrclub.com/bbs/vx2.php?id=newproduct_samsung&no=1083

標籤：

留言

張貼留言

回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！

這個網誌中的熱門文章

有點誇張的準專業機．Minolta Alpha 7 (Dynax 7、Maxxum 7)．2000

題外話，去年幫朋友標了這台，遲遲未寫一篇介紹，其實是有私心的，好東西少一點人知道比較不會搶。 上個禮拜因為自己要 幫朋友拍攝一場婚禮 ，無巧不巧原本服役的 707si 掛了，於是跟朋友商借了 Alpha 7 來拍，拍過之後就一直放在身邊，說實在的有點捨不得還，快門聲，手感，強大的性能，實在是有點誇張。 拿 Alpha 7 拍我女兒的時候，因為有 LCD，我女兒會說我要看，而不是問我 把拔這台是底片的嗎 ？讓我解釋半天她也不相信，直指著 LCD 要看照片，很妙，但是個識貨的女孩，一眼就看出這台相機的特點，機背有 LCD。 於 1998 年推出頂級機 Alpha 9 之後，2000 年推出的 Alpha 7 除了快門速度和連拍速度緊挨著機皇而沒有強過頭，卻在準專業定位的 Alpha 7 身上加入多項先進的功能，其中許多 Alpha 9 所沒有的，相當驚人，整理於下： ※ 全新開發之 CDC912 對焦系統，九點寬域對焦，排列為黃金矩陣 ，宣稱為世界首快之 AF 對焦；機背轉盤可選擇對焦點並直接對焦。(Alpha 9 為三點寬域自動對焦) ※ 首見機背大型點矩陣式 LCD 大幅增加人機溝通性能，若採垂直控制拍攝時LCD會隨之轉為垂直。 ※ DMF (Direct Manual Focus) 功能 ：透過機身可讓鏡頭全時手動，無須撥動AF/MF鈕 ※ 世界首見 STF (Smooth TransFocus) 特效 ，可使每支鏡頭作出特殊背景鬆濛感，類似Minolta STF 135mm f/2.8[T4.5]的效果 (作用原理：相機自動切換為多重曝光，並於曝光時逐漸縮小光圈葉片)。[Custom 3] ※搭配新一代納入距離編碼器的鏡頭時，Alpha 7 可採 ADI (Advanced Distance Intergration) 測光模式 ，或配合 TTL 4 區閃燈測光。 ※一推出即支援 SAM 超音波馬達鏡頭。(Alpha 9 需要更新韌體) 功能很多很強大，底下就先挑一些比較有意思的設計做介紹。 》十四區蜂巢式測光，LCD 顯示 當同時按下 AE 曝光鎖 (AEL) 與 LCD 顯示選擇鍵 (DISP) 時，會顯示 14 區各分區的相對EV值，與灰色部份比較，白色的為正值，黑色的為負值，以上圖為例，畫面最暗的地方是 –2.3，最亮的地方是 ...
5 則留言
閱讀完整內容

[古典相機] M 系列快門最速．ME MX 合體．Pentax ME Super．1980

Pentax M 系列機身中，快門速度達到 1/2000 秒的，就只有 ME Super 以及需搭配特殊鏡頭 AF 35-70 f2.8 自動對焦的 ME-F 。 為什麼要說 ME Super 是 MX 以及 ME 的合體呢？ MX 是只有曝光手動控制， ME 是只有光圈先決，另有幾台 M 系列 1980 年代出的 MG、MV、MV1，也都只有提供光圈先決，除了改變 EV 值外，沒辦法手動調整快門速度，ME Super 是整個 M 系列機身第一台同時可以手動設定快門也能 Auto 快門的機身，或許是因為希望機身維持像 ME 一樣小，所以在快門設定的功能上，並不像其他家是用機頂轉盤的方式 (OM-2 是用機身接環前的轉環)，Pentax ME Super 的快門設定是機頂上的兩個鈕，只能在觀景窗內，透過 LED 指示燈顯示所選用的快門速度，同時也會顯示是否 Over 或者 Under。 機身的設計與 ME 幾乎相同，除了機頂右邊的轉盤處加了兩個手動設定快門速度的鈕，其他都相同，寬度和高度就比 ME 多了一點點，真的只有一點點，就各多個 0.5mm，但重量卻比 ME 更輕，猜想是使用了更輕量的機身結構吧，而可搭配的捲片馬達手把也能通用 (ME、ME II)。 MX 與 ME、ME Super 之比較》 機型 生產 體積 (mm) 重量 快門速度 閃燈同步快門 MX 1976-1985 135.8 x 82.5 x 49.3 495g 1 ~ 1/1000, B 1/60 ~ 1, B ME 1976-1980 131 x 82.5 x 49.5 460g 8 ~ 1/1000, B 1/100 ~ 8, B ME Super 1980-1987 131.5 x 83 x 49.5 445g 4 ~ 1/2000, B 1/125 ~ 4, B ...
16 則留言
閱讀完整內容

Nikon D7000 的感光元件 Sony 做的，官方不公開承認，chipworks 拆給你看！

(圖片來源： Teardown of the Nikon D7000 DSLR by chipworks ) Sony IMX071 The Nikon D7000 comes equipped with a DX format (APS-C) sensor fabricated by Sony, the IMX071. With a 16.2 Mp resolution, this is the second highest resolution of any Nikon DSLR, behind the 24 Mp D3X (dpreview.com). This image sensor features a pixel size of 4.8 µm x 4.8 µm (as seen in the Bayer patterned RGB color filters). The sensor displays improvements in pixel layout and process features, as compared to previous generations of Sony DSLR sensors. 有圖有真相，完整拆解請直上： Teardown of the Nikon D7000 DSLR by chipworks
張貼留言
閱讀完整內容