跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

Ricoh GXR Mount A12 推出之後的玩法,日本人已經接 K Mount 鏡在玩了

(上圖來源: GXR MOUNT UNIT "0"Day-Review Old Lens NewDay ) Ricoh GXR Leica M-mount Unit 產品名為 Ricoh GXR Mount A12 ,由於 Leica M Mount 的法蘭距只有 27.80 mm,所以 Ricoh GXR Mount A12 的可玩性大增! 日本近代和德國 Novoflex 都有推出幾款異質鏡頭接到 M Mount 機身的轉接環,不便宜就是了,底下截圖來自義文國際 (代理 日本近代轉接環 ): 這個網頁: GXR MOUNT UNIT "0"Day-Review Old Lens NewDay 有用 Ricoh GXR Mount A12 再加 K Mount 轉接環使用 Ricoh 早年推出的 K Mount 手動鏡的實拍照片,可以去看看。 摘要一下 Ricoh GXR Mount A12 規格 1230 萬畫素 CMOS APS-C ISO 200-3200 (1/3EV 增減) 針對手動對焦的對焦輔助功能 1/4000 - 180s shutter speed (1/8000th - 1s in electronic shutter mode) 可錄製 720p (30fps) HD 影片 我們想問的是, Ricoh 娶回 Pentax 之後,會為 GXR 做一個 K Mount 自動對焦模組嗎?35mm 片幅好嗎?新婚佛心價當然更歡迎呀!

[勞作] 通用快門線 DIY

昨天從抽屜裡把以前用這個生活工場買的鐵盒子做的兩進一出音源切換器找出來,想說利用原來就挖好的孔,找兩顆小開關,沿用原來的 6P 2 段搖頭開關和 3.5cm 耳機孔做一支可以換不同廠家接頭的快門線。 一、先聊各家接頭以及作動原理 基本上,Sony/Minolta 的快門線接頭可以找一條從電腦機殼接主機板的 3 pin 排插 (如上面那一條),Pentax、Contax N、Contax 645 以及 Canon 百位數機身 (300D、400D、500D 之類的) 所使用的接頭就是 2.5 cm 雙聲道的耳機線 (如下面那一條)。 Sony/Minolta 使用電腦排插孔距剛好和針距相符,排插的厚度又不會擋到機身的防呆裝置,找到一條這種線之後,在實際施工之前,你就可以先做測試。Sony A450 的快門線孔是垂直的,最下面的 pin 和中間的 pin 接在一起就會自動對焦,三個 pin 接在一起就可以擊發快門。 像 Pentax 這種 2.5cm 耳機線的接頭,則是第一段為快門,第二段為對焦,當第二段和第三段接在一起就會對焦,三段接在一起就可以擊發快門。 按1:其他各家由於手邊沒有機身,但從網路上資料看來,Nikon 有些機身的接頭可以用 miniUSB 的頭去改,我們知道 USB 是有四條線,不過實際上 Nikon 雖然用這種四針的接頭,但有一支是空腳,原理也是相同的三隻腳接通擊發快門,問題只在不容易找到現成的接頭來做,DIY 的難度會高一些。其他廠家的接頭型式有碰到才知道,空口說不準。 按2:Pentax 早期的底片自動單眼是用三孔的排插,不太確定跟 Minolta 一不一樣,但原理一定相同,都是三條線,你用類似測試 Minolta 的方法試試看就知道,Pentax 自 MZ-L 以後推出的機身就都是使用 2.5cm 的接孔。 用 Google Docs 畫了底下這張,來說明一下快門線很簡單的原理: 二、關於開關鈕的選擇 我是選用兩顆單按接通,放開脫離的小按鈕來做為對焦和快門的鈕 (如上圖的左右兩顆),至於按鈕的選擇是可以想辦法找無段的兩段式有彈簧的那種開關,先按一段觸發對焦,再往下按擊發快門,一般市售的快門線好像是裡面有簧片的設計去導通。我是剛好抽屜翻翻找到兩顆這種小按鈕,我的鐵盒子不夠厚...

兩段國外的縮時攝影影片

(上圖來源:第一段影片截圖) Time Lapse「縮時」攝影,也常被稱為「間隔」攝影。在找定時快門線的時候,又發現一篇網友 DIY 快門線的文章: 自製定時快門線 by jingtw ,用的是 555 timer IC 。 Timelapse - The City Limits from Dominic ,作者網站: http://www.dominicboudreault.com/ Mindrelic - Manhattan in motion from Mindrelic ,作者網站: http://www.mindrelic.com/

靠杯

(Sony A450,Minolta AF 50mm f1.7) 品嚐美酒,靠杯。 咖啡提神,靠杯。 品茗回甘,靠杯。 人生很靠杯來著。

盲拍是一種病

一種好奇心太過的病,一種尋找刺激的病,無法確定,卻很期待。 不同的載具有不同的刺激與樂趣,唯一能做的是信任相機,信任自己。 #1 Nikon L35 AF,摩托車 #2 Minolta Hi-matic AF,雙腳 #3 Canon AF 35 ML,摩托車 #4 Minolta XD,汽車 #5 Contax 139Q,雙腳 #6 Pentax K100D,雙腳

Sony 新機的規格整理 (A77、A65、NEX-7、NEX-5N) 以及LA-EA2 轉接環

Sony 新機規格整理 NEX-7 2430 萬畫素 Exmor 感光元件 ISO 範圍: 100-16000 錄影格式: 1920×1080 60p/60i/24p AVCHD video recording 電子觀景窗 XGA OLED 三吋  92 萬畫素 TruBlack LCD 連拍 10 fps HDR functionality 內建閃燈,有熱靴 (但不確定是否跟 Alpha 機身相同) 續航力: 超過 400 張 鎂合金機身 開機時間以及自動對焦速度皆有提升 NEX-5N 1610 萬畫素 Exmor 感光元件 最速快門: 1/4000 秒 ISO 範圍: 100-25600 錄影格式: 1920×1080 60p/60i/24p AVCHD video recording 連拍 10 fps 10x 數位變焦 續航力: 超過 430 張 重量: 約 200 g A77 2430 萬畫素 Exmor 感光元件 ISO 100-16000, 另有 ISO 50 的選項 錄影格式: Video recording at 1920 x 1080 60p/24p 新的 Bionz 影像處理器 19 點自動對焦系統 (11 點十字對焦) 錄影時持續自動對焦 連拍 12 fps (連續對焦) 最速快門: 1/8000 秒 OLED 電子觀景窗 100% 視野率 ...

[底片集] Pentax MZ-L 卷二十一

(北宜高塞車中,Pentax MZ-L,Pentax F 28mm f2.8,Kodak Profoto XL 100) 使用相機:Pentax MZ-L 使用底片:Kodak Profoto XL 100 36+ 沖掃店家:公館五色鳥 MZ-L 用到現在,設定很固定,Auto-Pict 模式,半按快門鎖曝光,唯一美中不足的就是沒辦法自己控制對焦點,唯一能做的好像也只能把 F7 設定成 [2] Focus lock 而已。 自己控制對焦點是一種由手動對焦而來的強迫症,總覺得這麼樣做,還是比讓機器自己判斷更為精確,也只有這部份會是拍照時一點小小的固執,至於測光還是光圈什麼的,開始讓機身自己決定之後,反而是一種可以觀察出機身偏向的手段。 七月底的 禮拜天幫學弟搬家到宜蘭 ,帶了 FA 43 和 F 28 出門,這是我某一種最常見的出門組合,MZ-L 用很久了,到現在還是正常工作,內心其實是很擔心這麼順手的東西萬一有一天罷工了該怎麼辦?嗯,換一台可以自訂對焦點的 Pentax AF SLR 好吧,哈! 不過我一直覺得這支 Kodak Profoto 100 的底片用在 Pentax 的機身鏡頭組合時,出來的色調跟 CY 和 OM 不太一樣,我不太會描述,總之是另一種成色的表現 (搞不好只是因為曝光傾向略為 Under 所致),有機會或許要做個同一場景的測試 (可是我蠻懶的)。 從台北到宜蘭拍的》 這卷後來有試了一支 Tamron BBAR 的變焦鏡: Tamron 35-70mm F3.5 Model 17A ,是在室內接閃燈快速的把這卷打完,因為是用 Tamron Adaptall-2 KA 接環,把鏡頭的光圈值轉到 AE,就可以從機身控制光圈,也有合焦指示。 其他本卷照片: Pentax MZ-L vol.21