跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

Minolta Alpha 707si (Dynax 700si, Maxxum 700si).1993

Minolta,自 1985 年推出全世界首台自動對焦單眼相機 (AF SLR) :Alpha 7000 開始,「創新」一直是代表著 Minolta 的品牌精神,一直到第五代 AF SLR 率先推出 Alpha-9,之前四代都是以「7」做為首台機身的代號。 第一代:x000 系列 (如 7000, 9000, 5000) 第二代:i 系列 (如 7000i, 8000i, 5000i, 3000i, 7700i, 3700i) 第三代:xi 系列 (如 7xi, 3xi, 5xi, 9xi) 第四代:si 系列 (如 707si, 507si, 807si, 600si, 800si) 第五代:單位數系列 (如 9, 7, 5) Minolta AF SLR 在北美洲使用的名字為 Maxxum ,在歐洲的名字為 Dynax ,在日本的名字則為 Alpha ,而這些不同地區的相機型號皆由 Minolta 設計製造。 Minolta 曾引進一些創新功能,在幾年之後更全部成為業界標準。由 Minolta 首先推出並成為標準的功能包括:多重測光感應器及多重自動對焦感應器、自動閃光平衡系統(automatic flash balance system)、無線鏡後閃光控制(wireless TTL flash control)、鏡後控制全時閃光同步功能(TTL controlled full-time flash sync)及快速控制快門及光圈值的前後滾輪等。 由 Minolta 推出的特別功能則包括:互動式液晶觀景器(interactive LCD viewfinder display)、初始記憶設定(setup memory)、攝影程式擴充卡(expansion program cards 己停產)、眼啟動功能(eye-activated startup)及紅外線膠卷數量計(infrared frame counter)等。 資料摘錄整理自: Wiki: Minolta

靜默

(攝於永和八二三紀念公園,Sony A450,Minolta AF 28-80mm D,Lightroom) 我總是靜默,看著你們來這裡乘涼。 小情侶摟摟抱抱,老朋友拄個拐杖,孩子跳上跳下,我努力張開雙臂,為你們遮住豔陽。 只願你們短暫歇憩,換得一派輕鬆之後,還給我一夜銷魂的靜默。

看著孩子長大

(攝於永和自家,Sony A450,Minolta AF 28-80mm D,Lightroom BW) 從無法自己行動,到完全不受控,基本上只消一眨眼的時間。 有自己的主張,有自己的喜好,敢於索求與反對,我們都是這麼長大的吧? 曾幾何時,社會化的我們變得複雜了,真正喜歡的未必敢要,不喜歡的卻不能退還,而我們妥協的原因,竟是為了表面的和諧。 「真」,恐怕是畢生企求的空想了。

喜歡跟別人分享網路書籤嗎?你的分享也能賺錢哦!

從去年八月參加 Pushba 提供的服務到現在,我已經領到了 2000 元的獎金了,其中包含推薦的獎金,還有 Pushba 不定期舉辦的活動所領到的活動獎金哦! 如果你平時就愛跟別人分享網路上找到的資訊、好文章,或者你有很多朋友寄給你的 Email 想要分享,你使用 Pushba 的服務,可以幫您自動同步到 Plurk、Facebook,讓你的朋友們都看得到,還能夠因為點閱次數跟網友的認同,累積獎金哦!另外,Pushba 還不定期舉辦各種活動,提供實用的獎品和獎金!真是賺零用錢的好地方! 最近還有春節活動哦!只要你在二月份成功推薦二位朋友加入 Pushba,您還可以領到 888 的紅包哦!陸續還有更多的活動, 還不趕快加入 Pushba ! 另外最近還有抽獎的活動,只要您推薦 Pushba 所指定的網頁內容,達到 20 個點閱次數就可以參加一次抽獎,最大獎可以獲得一台 iPhone 3GS 耶! 趕快加入 Pushba ! Pushba 寄給我的領款通知信: 之前寫的 Pushba 使用介紹: [優質推薦] PushBa! 轉貼+轉寄=賺錢! 加入 Pushba ,推薦分享又能賺零用錢,就是這麼簡單!

iFoto 數位影像改名 Openhut 數位影像,改版慶活動熱鬧登場!

Openhut 數位影像服務 新增了許多商品館別,除了相片沖印服務,更提供您更多的購物選擇,如 Open小將授權商品和生活用品、時尚 3C 商品、圖書精選等等,多元化的賣場,滿足你的需要,一定要去逛逛哦! 現在配合改版慶,還有一連串的活動哦,快點來參加, 按此前往 Openhut 數位影像服務 ! Openhut 分館連結 〔 相片沖印 〕〔 icash訂製卡 〕〔 My創意 〕〔 授權商品 〕〔 美容美體 〕 〔 配件精品 〕〔 生活用品 〕〔 iDesign 〕〔 時尚3C 〕〔 圖書精選 〕〔 美食 〕〔 OPEN小將 〕 改版慶抽獎活動

人都有失手的時候,記憶卡重新格式化了怎麼辦?

沒關係,只要你還沒重新再寫入檔案,就算是格式化都還有救! 我是用 Recuva ,免費又強大的好軟體! 官方連結: http://www.piriform.com/recuva 官方載點: 前往下載 詳細軟體介紹就連到阿榮那裡囉: http://azo-freeware.blogspot.com/2009/03/recuva-124399.html

排隊

(攝於永和自家,Sony A450,Minolta AF 28-80mm f3.5-5.6 D) 剛上台北念書的時候,除了很不習慣台北的人多,大排長龍的隊伍也是件很不舒服的事。 中午吃飯的時候,我總愛避開十二點到一點的尖峰時間,一點才到自助餐店用餐。如果有兩家相鄰的店,一家排滿滿人,另一家小貓三兩隻,我會選擇做那其中一隻小貓。 不為什麼, 我想留一點空間給自己,而不是擁擠; 我希望多一點時間想自己,哪怕只是為賦新辭強說愁而已。