跳到主要內容

發表文章

目前顯示的是 8月 14, 2011的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

Ricoh GXR Mount A12 推出之後的玩法,日本人已經接 K Mount 鏡在玩了

(上圖來源: GXR MOUNT UNIT "0"Day-Review Old Lens NewDay ) Ricoh GXR Leica M-mount Unit 產品名為 Ricoh GXR Mount A12 ,由於 Leica M Mount 的法蘭距只有 27.80 mm,所以 Ricoh GXR Mount A12 的可玩性大增! 日本近代和德國 Novoflex 都有推出幾款異質鏡頭接到 M Mount 機身的轉接環,不便宜就是了,底下截圖來自義文國際 (代理 日本近代轉接環 ): 這個網頁: GXR MOUNT UNIT "0"Day-Review Old Lens NewDay 有用 Ricoh GXR Mount A12 再加 K Mount 轉接環使用 Ricoh 早年推出的 K Mount 手動鏡的實拍照片,可以去看看。 摘要一下 Ricoh GXR Mount A12 規格 1230 萬畫素 CMOS APS-C ISO 200-3200 (1/3EV 增減) 針對手動對焦的對焦輔助功能 1/4000 - 180s shutter speed (1/8000th - 1s in electronic shutter mode) 可錄製 720p (30fps) HD 影片 我們想問的是, Ricoh 娶回 Pentax 之後,會為 GXR 做一個 K Mount 自動對焦模組嗎?35mm 片幅好嗎?新婚佛心價當然更歡迎呀!

[勞作] 通用快門線 DIY

昨天從抽屜裡把以前用這個生活工場買的鐵盒子做的兩進一出音源切換器找出來,想說利用原來就挖好的孔,找兩顆小開關,沿用原來的 6P 2 段搖頭開關和 3.5cm 耳機孔做一支可以換不同廠家接頭的快門線。 一、先聊各家接頭以及作動原理 基本上,Sony/Minolta 的快門線接頭可以找一條從電腦機殼接主機板的 3 pin 排插 (如上面那一條),Pentax、Contax N、Contax 645 以及 Canon 百位數機身 (300D、400D、500D 之類的) 所使用的接頭就是 2.5 cm 雙聲道的耳機線 (如下面那一條)。 Sony/Minolta 使用電腦排插孔距剛好和針距相符,排插的厚度又不會擋到機身的防呆裝置,找到一條這種線之後,在實際施工之前,你就可以先做測試。Sony A450 的快門線孔是垂直的,最下面的 pin 和中間的 pin 接在一起就會自動對焦,三個 pin 接在一起就可以擊發快門。 像 Pentax 這種 2.5cm 耳機線的接頭,則是第一段為快門,第二段為對焦,當第二段和第三段接在一起就會對焦,三段接在一起就可以擊發快門。 按1:其他各家由於手邊沒有機身,但從網路上資料看來,Nikon 有些機身的接頭可以用 miniUSB 的頭去改,我們知道 USB 是有四條線,不過實際上 Nikon 雖然用這種四針的接頭,但有一支是空腳,原理也是相同的三隻腳接通擊發快門,問題只在不容易找到現成的接頭來做,DIY 的難度會高一些。其他廠家的接頭型式有碰到才知道,空口說不準。 按2:Pentax 早期的底片自動單眼是用三孔的排插,不太確定跟 Minolta 一不一樣,但原理一定相同,都是三條線,你用類似測試 Minolta 的方法試試看就知道,Pentax 自 MZ-L 以後推出的機身就都是使用 2.5cm 的接孔。 用 Google Docs 畫了底下這張,來說明一下快門線很簡單的原理: 二、關於開關鈕的選擇 我是選用兩顆單按接通,放開脫離的小按鈕來做為對焦和快門的鈕 (如上圖的左右兩顆),至於按鈕的選擇是可以想辦法找無段的兩段式有彈簧的那種開關,先按一段觸發對焦,再往下按擊發快門,一般市售的快門線好像是裡面有簧片的設計去導通。我是剛好抽屜翻翻找到兩顆這種小按鈕,我的鐵盒子不夠厚...

兩段國外的縮時攝影影片

(上圖來源:第一段影片截圖) Time Lapse「縮時」攝影,也常被稱為「間隔」攝影。在找定時快門線的時候,又發現一篇網友 DIY 快門線的文章: 自製定時快門線 by jingtw ,用的是 555 timer IC 。 Timelapse - The City Limits from Dominic ,作者網站: http://www.dominicboudreault.com/ Mindrelic - Manhattan in motion from Mindrelic ,作者網站: http://www.mindrelic.com/

靠杯

(Sony A450,Minolta AF 50mm f1.7) 品嚐美酒,靠杯。 咖啡提神,靠杯。 品茗回甘,靠杯。 人生很靠杯來著。