跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

明年會不會有三位建興國中校友在 MLB 同場拼戰的戲碼?

(圖片來源: www.epochtimes.com/b5/7/12/16/n1943649.htm ) 新聞: 卡斯楚可能轉戰費城,胡金龍明年開季登大聯盟機會濃 續留洋基前途堪慮!近9成球迷支持建仔轉至道奇 雖然截至目前為止都尚未確定王建民的動向,但在今年獲得世界大賽冠軍的洋基眼中,王建民一直不是明年球隊戰力的優先考慮人選,加上道奇是由托瑞領軍,目前看來最大的可能是洋基選擇以低價合約和激勵獎金與王談判,相信不會達到保障年薪 400 萬的水準,如果道奇有意願,也拿得出更好的薪資,加上道奇今年有五位先發投手成為自由球員,先發陣容的重組本就是明年球季的重要工作,那麼,王到道奇對於台灣的球迷而言,絕對是最棒的選項。 加上胡金龍明年在 MLB 站穩腳步的可能性昇高,如此,我們可以一次看到三位來自台灣台南的建興國中校友:郭泓志、胡金龍、王建民在 MLB 同場拼戰,這實在是太讚了!   最後播放 Hu 的出場歌曲《Who Let the Dogs out?》,預祝 Hu 明年站穩大聯盟腳步順利!

終於,我去考了汽車駕照.大慈駕訓班(永和)

其實,一位三十歲才肯去考駕照的男性,在這個社會應該不多見吧!我也不清楚自己到底為什麼對擁有駕照全然的沒興趣。基本上,一直以來對於學會開車這檔事的完全不積極,可能是我喜歡給人家載那種爽爽的感覺吧!只要不下雨,騎摩托車還是感覺自在一點。 五月的時候,老婆為了逼我學開車,跑去團報了,兩個一起報有一點點小折扣,很快的她就先排課開始學了,大約五個禮拜過去,六月中,她筆試滿分,路考也很輕鬆地一次就過了,嚴格說來,這佳績的確對我構成了莫大的壓力,我好像不能輸吧!【老婆的學車經驗: http://blog.czmarry.tw/2009/05/blog-post_19.html 】 於是一路拖拖拖,就這麼從夏天拖到了秋天,十一月七日,我終於去上了第一堂課了,而且第一天才上了三小時的課,隔天禮拜天教練就讓我道路駕駛了。 在三個禮拜之後的今天,我以相同的成績拿到了駕照,唯一嬴過老婆的是,教練很大膽地要我三週就考了,如果扣掉上個禮拜六我耍懶沒去上課,總共也才上了 15 小時的課而已。(這樣我應該算虧到了,因為我們報的是半年保證班) 哦對了,幫教練打個廣告,我們是在 大慈駕訓班的永和頂溪報名處 報名的,我覺得很棒的一點是有很多道路駕駛的機會,因為駕訓班的場地是在三峽,我們是週末班的,禮拜六下午跟禮拜天上午 (禮拜六也可以選上午),一個禮拜六個小時,有專車接送,禮拜天到教練場的路上會順便進行道路駕駛,所以也不怕考到了駕照,卻完全沒有上路的經驗,中永和的朋友記得到 台北縣永和市中興街149號 報名哦!也有提供線上報名: http://da-che.myweb.hinet.net/mail.htm 。教練場的場地很不錯,而且永和鄭教練的學員,每個人都有一台車可以讓你練習,有聽說不少駕訓班是幾個人共用一台車的,這樣我覺得你自己練習的時間就被分掉了。 教練教的方式很能切中要領,我不喜歡背公式,大概第二天我都是憑感覺在開了,藉由教練適時的提醒再配合練習,我觀察大部份的學員在教練場都練習的很順手,不過實際路考的時候雖然是在原場地,還是要千萬記得不要緊張,不然過的機會應該都很高吧!筆試的話,那本考試用書如果有看完,應該是很容易,我昨天才看的 :P 誠心的推薦,不過我想報我的名字應該沒有折扣吧,我不是個咖。

Angel 的新玩具

(Pentax K10D,DA 40 LE,Lightroom) 擺滿小球跟玩具的小帳篷,跟前面這台小腳踏車,是 Angel 的新玩伴。 坐在小腳踏車的座墊上,還沒辦法雙腳踏地的 Angel,除了用她的語言命令我們幫她推車車,也會斜坐一邊,用一隻腳划呀划地讓車子前進。 不過,小球屋就沒那麼受寵了,相較於外頭廣闊的空間,要 Angel 待在裡頭不是件容易的事,抱進去不一會兒,就看她爬出來囉。見她一直往外爬,索性自己鑽進去裡頭玩球給她看,Angel 看著我把自己關在裡面,突然有了那麼點興趣,也爬了進來一起玩球。 也許對 Angel 而言,我們手上正拿著的東西才是她最想要的吧!

阿嬤的手藝

我一直在勸說我媽,可以來做這種手工編織的網拍,不過她只想做給自己的孩子,這是私人的興趣,她不想為了賺錢而做。 老婆找到一批品質不錯,顏色好看,價錢也不貴的毛線,因為老媽喜歡勾毛線,所以買了寄回去孝敬她老人家。 不到兩個月的時間吧!變出一盒冬裝配件來了!這到底算是給她老人家的禮物呢?還是工作啊? 昨天阿嬤託叔叔帶著禮物上台北,一開始 Angel 心情不太好,怎麼逗都不會笑,後來才比較有反應,很不給叔叔面子的說。 看到滿滿的一箱禮物還有卡片,Angel 很好奇地仔細端詳一番,究竟叔叔帶了什麼好東西來呀?     不過,看電視始終是 Angel 最愛的活動,不管別人怎麼逗她。

黑白底片.ILFORD HP5 PLUS 400

來自英國,這是款很多人推薦的黑白底片。買了兩捲,但一直沒有拆開來。 去借了一本書:攝影家出版社所編譯的「 黑白攝影的技術與藝術 」,最近總算看完了,隨著 Fujifilm X-tra 400 已經拍光光的情況之下,現在手邊僅剩的底片也只有 ILFORD HP5 PLUS 400 了,是該來拍一下了。 ILFORD HP5 PLUS 400  顆粒感重、反差低、階調的層次豐富,也有不少人用 增感 的方式在拍,想讓 Praktica MTL50 出來透透氣了,哈哈! ILFORD HP5 PLUS 400 原廠介紹: http://www.ilfordphoto.com/products/product.asp?n=7 底片的樣子

何謂人像鏡?

其實拍攝什麼主題,用什麼鏡頭焦長,沒有人規定你一定要怎麼做,說穿了,攝影是「拍照者拍得爽」、「看照片者看得開心」就好了。 一般來說,多數人愛用的人像焦段,以 35mm 規格來說,約介於 85mm – 135mm 之間,視角約為 18 – 28 度之間,此焦段對於視覺上有約略的壓縮感,加上大光圈所營造出的迷人散景,適合拿來突顯所拍攝的人像;當然有人會說拿廣角鏡近拍人也可以把人物突顯出來,這樣對於所拍攝的對象產生了極大的壓迫感,不利於拍攝出自然的人物表情及動作,不過誇張的大景搭配人物,如婚紗攝影,其實以廣角鏡拍攝的手法還蠻多見的。 對我來說,75mm – 105mm 之間是我比較常用的中焦段,有時候是現有器材,有時候是空間環境,有時候是個人習慣的取景距離,而讓你做出的選擇。 P 家的人像鏡,底片時代大概就是 Pentax FA* 85mm  F1.4 跟 Pentax FA 77mm F1.8 Limited,85mm 幾乎是各家都有的熱門焦長,因此,不少人都蠻喜歡 85mm 的。 比較特別的是二公主 77mm LE,沒有任何一家做出這個焦長,P 家的限量鏡是以小巧高質感的金屬鏡身做為賣點,我想我會進入 P 家,某部份是為了限量鏡而來,跟高檔的 P 家星鏡定位不同,即使普遍評測認為輸給自家 85 星鏡,然而 LE 系列所代表的 P 家做鏡工藝的意義,做為收藏實在不為過啊! (Angel 慶生,攝於保姆家,Pentax MZ-L,FA 77mm Limited,Fujifilm X-tra 400 增感一格) 最近是把 Zenit Helios-44m-7 MC 58mm F2 當做 85mm 的人像鏡來使用(約等效 87mm 焦長),這顆鏡頭的介紹請參考我之前寫的 文章 。這個鏡頭有很特殊的散景,我想在拍攝人像時應該會有不錯的氛圍,測試樣本還不多,底下僅分享一些近日所拍,在手拙而對焦速度不夠快的情形下,底下照片多有不清,造成不適還請見諒。 這顆鏡頭的照片我會持續更新於我的 Flickr Set of Zenit Helios-44m-7 。 (攝於永和自家,Pentax K10D,Zenit Helios-44m-7 MC 58mm f2 M42) 另外,為數眾多又價廉的 50mm 標頭,用在數位單眼也是我中焦段的選擇,約...