跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

恭喜,2010 阿叡結婚了

(攝於宜蘭,香格里拉冬山河渡假飯店,Minolta 707si,Minolta AF 28mm f2.8,Fujifilm X-tra 400) 這趟宜蘭花蓮行,主要就是為了參加這場婚禮,但是我自己很「假會」的堅持 住在花蓮的民宿 。婚禮的男女主角是小我一屆的學弟妹,從大學同班同學,到後來在同一所學校任教成為男女朋友,終於步上紅毯成為彼此的伴,很溫馨的故事。 阿叡,雖說是小我一屆的學弟,但事實上是大我五歲的哥哥,很慶幸大學生活裡能夠留下有他一起的共同記憶,陪伴我在大學時期自我省思的歷程裡,他是很重要的兄長。 是一起生活的同居室友,是打棒球的球友,是不需多言卻似彼此了解的同星座朋友,是可以請益的朋友,是唯一一個來住過我台南家裡的大學朋友,也是唯一一個我去住過他家裡的朋友。 他的性格裡有一種溫暖,是會讓人自在的那種,不會困住你,卻好像時時在那裡等著你,所以他們夫妻倆任教的學校,可能是我唯一真正安心把小孩子託付的地方,因為我認識這個人,了解這個人,而且信賴這個人。 我想,婚宴當天會場裡的家長、親友、孩子們、師長,一定都是這麼想的吧!真心的祝福現在正在渡蜜月的兩個人,明年生個小寶寶囉!

[底片集] 蘇花公路的好天氣.Minolta 707si 第八卷

使用相機:Minolta Alpha 707si,Minolta AF 28mm f2.8 使用底片:Fujicolor 100 沖掃店家:公館五色鳥 這一卷在一天內完成,拜當天的好天氣之賜,看到了蘇花公路壯闊的風景,深深覺得只有 28mm 的廣角是無法表現心中真正的印象,透過觀景窗看出去,只能切下那豪邁大景的一個小角落而已。 這趟宜蘭花蓮行,來來回回總共走了蘇花公路四次,還好最後一天禮拜一回台北的時候放晴了,加上回程是靠海的那一邊,於是慢慢開,停在幾個可以觀景的點休息順便殺殺底片,後座的兩位乘客幾乎都是疲累的狀態,只有身為駕駛的我,看著這公路上的風景,好像一點不覺此行的疲累。 沿途經過澳花、和平,突然有一種好懷念的感覺,當我還是大山隊新巴洞的時候,跟著學長姐到了澳花出隊,那是我第一次走入部落,也從此愛上山,很想轉進去澳花看看,但旅程實在太趕,也許下次吧! 有機會還是很想多到蘇花走走,只不過可能兩位乘客都會搖頭 Say No 吧!

[底片集] Kodak ProFoto XL 100 36+,Pentax MZ-L 第九卷

(攝於花蓮,蝶泊遠近,Pentax MZ-L,FA 43mm LE,Kodak ProFoto XL 100 36+) 使用相機:Pentax MZ-L 使用底片:Kodak ProFoto XL 100 36+ 沖掃店家:公館五色鳥 如果喜歡拍人像的朋友,Kodak ProFoto XL 100 36+ 這支底片個人覺得是便宜底片的首選了,年初買了兩卷,這第二卷一直想要在出去玩的時候才拿出來拍,所以就一直到了十月才把這卷用掉,這次主要是用 FA 43mm LE 這顆鏡頭,不過因為同時也有雜著使用 DA 70mm LE,所以有些我其實也記不起來是哪一顆拍的。 因為跟 Pentax 的器材相處最久,習慣的相機鏡頭,還有喜歡的底片,這捲拍起來覺得很自在,很輕鬆,這種感覺下拍出來的東西顯得有種溫暖而自在的味道,看著看著心情就會很好。

民宿.農家,蝶泊遠近農園

(攝於花蓮,蝶泊遠近,Minolta Alpha 707si,Minolta AF 28mm f2.8,Fujifilm X-tra 400) 民宿的網頁 裡,泊,特別標示要念成「破」的音,念快一點,就很像跌破眼鏡,不曉得是不是就是這個涵義。   位在花蓮吉安鄉,這是一家很農家風味的民宿,很簡單很實在,清晨在群山環繞,在魚塭正中央的小屋裡,吃著民宿阿嬤親手準備的中式早餐,藍天白雲,青山綠水農地,是多麼嚮往的生活。 魚塭裡蠻多魚的,他們養的鵝總是到處走動,根本是野放的狀態,自家種的火龍果很好吃,一住進民宿,民宿主人就會送上一大盤切好的水果,Angel 吃得有夠開心的。 本來芭樂都是可以採收了,可以讓住宿的客人自由去採,不過因為凡那比颱風全沒了,阿嬤說,農民就是靠天吃飯呀。 交通算是蠻方便的,距離花蓮市中心七公里約十分鐘車程,距離花蓮海洋公園只需十五分鐘車程,鯉魚潭大概十分鐘,客房乾淨寬敞,很通風,採光又好,天氣好的時候,打開窗戶,景色真的讓人很舒服。 遇到另一組客人,他們是家族每年都會來這裡住個幾天,感受悠閒的田園生活。這次我們住了兩天,回台北前阿嬤還送上一袋火龍果當做伴手禮,好貼心。 地址:花蓮縣吉安鄉南華村吉安路五段 30 號 網址: http://www.hlplay.tw/butterfly/facilities.htm

[底片集] 每日必經.Minolta Hi-matic CS 卷三

使用相機: Minolta Hi-matic CS 使用底片:Fujicolor Super 400 過期底片,減半格拍,正常沖 沖掃店家:公館五色鳥 這卷其實拍完好一陣子了,不過一直懶得送去洗,前天才和從花蓮帶回來三卷一起拿去。 用的是另一捲過期的 Fuji Super 400 來拍 (只有 24 張),基本上,這幾台小台的 RF 是我隨拍的工具,沒有特別要試鏡頭的時候,或者純粹想試試一些過期底片的時候,總會是我帶在身上的選擇,騎上機車或散步街頭,揹個小包包,隨時停下來按下快門,然後又是一卷底片的結束,也因為太習慣這個焦段,現在已經很少去想怎麼拍,怎麼構圖,要等多久,只要感覺對了,就按快門吧。 我想,這卷就依照每天上班的路程來分享吧,雖然是這些照片不是同一天拍的,但剛好可以串起每日必經的場景,很平凡的生活。

2011 Samsung NX mount lenses roadmap 新鏡計劃

(圖片來源: http://photorumors.com/2010/10/09/2011-samsung-nx-mount-lenses-roadmap/ ) 2010 年,Samsung NX 鏡頭出了五顆,同時也將在 2011 年計劃推出五顆新鏡。 通通都有 iFn,可見這是 Samsung 認為是他們的設計特點,或者說是用來決勝的關鍵? 2011 計劃推出的鏡頭如下: 廣角餅乾鏡: 16mm F2.8 iFn 微距鏡: 60mm OIS F2.8 iFn Movie Pro: 18-200mm F3.5-6.3 OIS iFn Movie Home: 16-80mm F3.5-4.5 OIS iFn 人像鏡: 85mm F1.4 iFn 其中 Movie Pro 和 Movie Home 該不會也是在預告 Samsung 也會出一台外型像 DV 的可換鏡頭攝影機吧?

[Blogger] 修正 Facebook Like Button 的 fb_xd_fragment bug

如果你使用 Facebook 的 JS SDK 來安裝 Facebook Like Button,也就是使用 XFBML 版的 Facebook Like Button,有一個很嚴重的問題,甚至會影響到你在搜尋引擎的排名,也嚴重影響網頁瀏覽, 情況通常是當有人透過 Facebook 分享出去的連結連回你的網站,後面會帶一個 ?fb_xd_fragment= 的參數,而這個參數會造成該頁面的內容無法顯示 (空白一片),並且也可能讓 Google 搜尋引擎辨識為不同的頁面,而影響該頁面原本的排名。 這個問題據國外的討論是來自於 Facebook 的 JS SDK,並且目前尚未有真正針對 JS SDK 的修正出現,底下有幾個目前可以解決的方法: 如果還是想繼續使用 JS SDK 的方式 一、解決有 fb_xd_fragment 參數無法顯示頁面內容 From FB Developers Forum 討論串 :由 ankushaggarwal 提供 <!-- Correct fb_xd_fragment Bug Start --> <script> document.getElementsByTagName('html')[0].style.display='block'; </script> <!-- Correct fb_xd_fragment Bug End --> 將這段語法加在 </body> 之前,實際試過是可行的方法。 二、告知 Google 忽略 fb_xd_fragment 參數 首先,進入 Google 網站管理員工具 (GWT),進到你的網站,在網站設定 –> 設定 –> 參數處理方式 將 fb_xd_fragment 這個參數設定為忽略 (Ignore) 改用 iFrame 方式的 FB Like Button 這樣就不會用到 FB JS SDK,就不會有這個問題,在 Blogger 的語法如下: <iframe allowTransparency='true' expr:src='&quot;http://www.facebook.com/plugi...