跳到主要內容

發表文章

目前顯示的是有「Universal」標籤的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

[傻瓜拍相機] Universal Mercury II.1945

二戰後由美國 Universal Camera Corporation 推出的 Mercury II(水星二號)。 Universal 公司於 1932 年在紐約成立,以製造相機、電影攝影機和放映機以及軍用的雙筒望遠鏡為主,大部份皆以 Univex 品牌推出,這公司在 1952 年宣布破產,但大約於 12 年後的 1964 年才停止公司營運。 MERCURY 系列 早在二戰前,Universal 便推出了水星系列的相機,其實 1938 年推出的水星一代(MERCURY I,MERCURY MODEL CC)是世界上第一款相機內建金屬接點觸發的閃燈靴座(熱靴),在那之前所有的閃燈靴座都只是讓閃燈架在相機上面,另外再透過連接線連動快門。 最早的熱靴設計,From US2270311 專利文件。 水星系列的快門也是很獨特的設計,據說就是因為 Universal 公司是生產電影攝影機專門的公司,所以在 MERCURY 快門的設計上,才會採用旋轉式的快門,而非一般我們看到的横走或縱走的簾幕設計。 少見的旋轉式快門設計,From US2274707 專利文件。 MERCURY I 水星一代更是早在 1938 年就推出的半格片幅可換鏡相機,但當時採用的底片型式並非目前我們所見的由 KODAK 推出的 135 底片型式,而是由 UNIVERSAL 公司和比利時的 Gevaert 公司簽約製造的特殊底片型式。 MERCURY 系列也創下快門速度的紀錄,當時德國的 Zeiss Ikon 推出的 Contax II,最速快門為 1/1250 秒,而 MERCURY 則是完成了最速快門為 1/1500 秒的相機,資料上稱該款相機為 MERCURY MODEL CC - 1500。 資料參考: “America’s Challenge to the World’s Finest Cameras” – the UniveX Mercury Model CC World’s Fastest – the Mercury CC-1500 Superspeed Univex Mercury: The American Way 戰後 MERCURY II 二戰後所推出的水星二代(MERCURY II),基本上沿襲了水星一代的設計,最重要的是採用了目前我們所能見到的 13...

[底片集] 估焦估焦,認真估就失焦.Universal Mercury II 第一卷

使用相機: Universal Mercury II with 35mm f2.7 Tricor 使用底片:Fujifilm REALA 100 過期 沖掃店家:台北紫羅蘭 這是一款半格,估焦,可換鏡,1945 年問世的相機。 嚴格說來,第一次用估焦機吧,是差強人意了點,距離還要自己換算公英制,沒辦法我對英制距離沒 Fu,好在之前在用 Fuji FP-UL  時,曾經認真的體驗了一下抓一米距離的感覺,用這款相機,還能拍出東西來的 Fu 勝過了一切,認真一點算,他都快七十歲了! 照片以下: 其他本卷照片: Universal Mercury II vol.1