跳到主要內容

發表文章

目前顯示的是 8月 1, 2010的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

[M42] Pentax Super-Multi-Coated Takumar 135mm f3.5

鏡頭資料》 From http://www.pentaxforums.com 對焦距離:1.5m - 無窮遠 光圈:f3.5 – f22 口徑:49mm 重量:343g 鏡片結構:四片四群 (圖片來源:Pentaxforums) 光圈葉片:六片 視角:18度  出產年份:1973 135mm 這個很常見的焦長,自己就玩過三顆,出掉一顆 Pentacon 135mm f2.8,目前還留有兩顆。 135mm 這個焦長應該是容易做,除了大廠都有 135mm 焦長的鏡頭外,連許多小廠都有生產。網路上常見把這顆 Pentax S-M-C Takumar 135mm 跟 CZJ Sonnar 135mm 相比,多數人認為 CZJ 比較好,CZJ 135mm 的對焦距離也比較短 (1m),二手價也較高,不過我還蠻喜歡這顆 S-M-C Takumar 135mm 的手感,很小巧,對焦環轉動很順手,這是我一貫喜歡 Pentax S-M-C Takumar 的感覺,截至目前為止,S-M-C Takumar 系列我手上已有五顆,離全收還很遠。 這顆配件蠻齊的,原廠的遮光罩是金屬鎖入式,有些人會喜歡內建拉起式的設計,這顆的口徑是 49mm,裝上遮光罩更顯細長,光圈全開就是可用光圈,銳利度沒話說。 Pentax M42 出現了好幾顆 135mm,從 Super-Takumar 開始多了光圈為 f2.5 的版本,有人說 135mm f2.5 這顆是少數 Pentax 同焦長光圈較大的鏡頭,反而更銳利的,二手價也就不低,也好像比較不好找。 Pentax M42 135mm 各代鏡頭》 Takumar 135mm f3.5 Auto-Takumar 135mm f3.5 Super-Takumar 135mm f3.5 Super-Takumar 135mm f2.5 S-M-C Takumar 135mm f3.5 S-M-C Takumar 135mm f2.5

Sony Rumors,Sony 又要出新機 (A33, A55, A560, A580)

實在是有點誇張,預計八月會發布,九月上架推出。不過這次這四台都是有錄影功能的機種,其中,A33、A55 則據說是固定式的反光鏡 ( Pellix cameras ),如果成真,將是數位單眼相機的新創舉 (或者說是數位單眼又把底片單眼時代消失的技術再次復活之舉)。 數位固定式反光鏡只有三分之二的光線透過反光鏡到達感光元件,所以在拍攝相同場景時,快門速度會低於一般的 SLR (因為進光量只有65%)。不過好處是,在拍攝運動或微距等等,將有很高的實用性,所以 A55 做到了 10FPS 的連拍速度,固定反光鏡對於拍攝影片的機種也應該會有幫助。 關於 Sony A33、A55 這兩台 Digital Pellix Camera,可以參考: http://www.electronista.com/articles/10/06/01/sony.to.show.pellix.cameras.in.september/ 最早使用固定式反光鏡的是 Canon 的底片單眼,關於 Pellix cameras 技術的 SLR,可以參考冼鏡光老師的文章: Canon Pellix:史上第一台使用固定反光鏡的SLR(1965) Rumors From: http://photorumors.com/2010/07/29/four-new-sony-cameras-rumored-a33-a55-a560-a580/ Details about four new APS-C based cameras from Sony have surfaced online: A55 16MP 10FPS EVF-1.44M 1.1X magnification 95% AVCHD full HD A33 14MP 7FPS EVF-1.44M 1.1X magnification 95% AVCHD full HD A560 14MP 7FPS MF recording AVCHD full HD A580 16MP 7FPS MF recording AVCHD full HD Announcement is expected in August, in stock in September. 網路賣場價格參考: