跳到主要內容

發表文章

目前顯示的是 11月 29, 2009的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

Lightroom.製作並匯出 Preset

在您調整好一張照片,並且喜歡這個風格,或您套用了原廠或下載下來的 Preset,想要微調並存成自己的風格,底下順便提一下,如何製作您個人的 Preset,並匯出成 lrtemplate 跟別人分享哦! 首先, 最上方工作區切換到「編輯相片」模式(英文版為 Develop) 然後到左手邊的工具欄,按下預設集旁邊的「+」,會跳出新增預設集的視窗 填上您要的預設集名稱,並選擇想要放置的預設集資料夾,一般為了與原廠的區隔,都會放在使用者預設集,或者您也可以新增別的檔案夾名稱,底下的設定,表示您這個 Preset 是用來處理哪些參數的,全部選的話,當您套用這個 Preset 時,所有參數就會全部套用,您可以針對某些參數做一些分類,方便不同的用途,不過若您第一次使用,全選吧,反正之後可以改,別擔心。 很簡單吧!這樣就產生你的第一個 Preset 囉!你可以用另一張剛匯入未做修改的 RAW 檔,套用這個 Preset 試試。 如果你不滿意這個 Preset,你可以做一些調整,然後在剛剛的 Preset 名稱上,按右鍵,在選單上選擇「使用目前設定更新」,之後的步驟就像新增 Preset 時一樣。 當你覺得很滿意了,想要跟別人分享這個 Preset 時,您可以一樣在 Preset 名稱上按右鍵,選轉存,就可以匯出成 .lrtemplate 檔了!

Lightroom.冷調 (Cold Tone Preset)

Lightroom 原廠附的冷調 (Cold Tone) Preset 其實就很好用了,但我還是小小的微調了一下,對比拉高了一些,名為戶外冷調,您如果有興趣可以 下載 回去匯入參考。

攝影師及模特兒兼備的特質.函函

二歲多的小姪女函函,現在是一位出門一定要帶相機的小小攝影師。 來自於爺爺的家學淵源,自小對於按下相機快門就有很強烈的興趣,除了拍照,她更自有一套幫被攝者打理造型的能力,並且能夠明快的拍下她所期待的畫面,「攝影達人的特質」。 對於她被拍下的照片,第一時間她會跑過來要求檢視成果,然後滿意的笑笑離開;也樂於配合攝影師的指示,擺出各式各樣的 Pose,「模特兒的特質」。 臭屁的很有道理! (Pentax K10D,DA 40 LE)

不受控的驚喜

家庭合照,通常是大家乖乖地排排坐,拍下很規矩的照片。 在大人都 Setting 好之後,我更喜歡這張照片裡這三個不受控的孩子:急著找馬麻的承承、想搶姐姐零食的 Angel、躲開 Angel 攻擊還能看著鏡頭的函函。 「不受控的驚喜」 (攝於永和自家,Pentax K10D,DA 40mm Limited)