跳到主要內容

發表文章

目前顯示的是 6月 5, 2011的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

煎魚不黏鍋

晚餐吃魚,試了一下人家說的方法,看起來還蠻成功的,所以拍了下來。 用的方法是沾麵粉,低筋中筋都可以,薄薄一層。 然後先熱油,油熱之後魚下鍋用中小火煎,略略轉了轉鍋子讓魚片底下都有沾到油。 翻面不用急,大概是讓貼鍋煎的那一面熟透,翻面就不會破皮了。 另外還有一篇從網路上找到的煎魚技巧:(From: 周老師的美食教室 ) 一、不要在魚身上劃刀,只要用紙巾擦乾,也可抺少許鹽,但不要醃太久才煎。 二、鍋子燒乾後,放油進去,遶一圈讓鍋底都有油份後,就把油倒出來。 三、把魚下鍋,蓋上鍋蓋,用平均小火力讓它乾煎5分鐘。(時間看魚大小而定,總之要讓貼鍋的一面熟透,這樣就很好翻面,不會破皮) 四、翻面再煎3分鐘,讓兩面都熟透。(時間同樣視魚大小而定) 五、等魚全熟,把倒出來的油再加回去,大火煎兩面,讓魚皮香酥。

把拔我要做功課.Angel

(Sony A450,Konica Minolta DT 18-70mm) 晚上吃飯前,拿了畫筆說她要畫圖,然後要我出功課給她。 我看了看她身上的圖案,那今天就畫蘋果吧! 於是她畫了四顆蘋果,還多送了一隻長頸鹿。 說真的,最近她畫畫的手法有點神奇,依我看已經畫得比我好了。 底下是最近很有意思的圖,我實在沒有什麼藝術底,但卻始終覺得這兩張圖不簡單。 看倌覺得像什麼呢? 個人解讀:左邊是什麼都不做一直打電腦的把拔,右邊是很辛苦很辛苦的馬麻,多麼寫實的家庭速寫呀!太強了!

可能是你的第三任女朋友 GF3 的樣子

(圖片來源: 43rumors.com ) 這是 43Rumors 第二篇貼出 GF3 相機的長相,比起上一篇清楚太多了。 應該比 NEX-C3 更小了吧?可是這樣相機真的好拿嗎? 愈來愈小跟塑化劑有關嗎?

Fuji X100 香港官網.浪攝流

(圖片來源:網站載圖,Fuji X100 香港網站: http://x100.fujifilm.com.hk/x100/index.html ) 墳場和狗,是不是很意有所指的街拍關鍵字呢?相信有看過荒木和森山的書的人多少會來一點 Fu 吧? 看看影片吧,首先是正式的電視廣告 再來是地下版

[Blogger] Blogger Draft 總算提供了更改網站圖示的介面

Blogger Draft 總算提供讓你從版型工具 更改網站圖示的介面功能 了。(Wed. June 8, 2011) 說真的,不懂為什麼這個功能一直沒提供耶。 以前通常的做法就是加底下那一行在 </head> 結尾之前 <link href=' url of ico ' rel='shortcut icon' type='image/vnd.microsoft.icon'/> 去蓋掉原來 Blogger 的圖示設定,但其實原始碼裡是有兩個的 ico 設定的,有了新的功能,你可以拿掉上面那一行了。 現在,就用 Blogger Draft 提供的功能改掉你的網站圖示吧。 上傳你的網站小圖示之後,原本你的網站圖示 http://yourblog.blogspot.com/favicon.ico 就會替換成你上傳的 .ico 檔了。 另外介紹一個可以線上設計自己網站圖示的網站: Favicon.ico Generator ,該網站除了自己動手畫 ICO 以外,也可以匯入圖檔 (jpg, jpeg, gif, png, bmp, ico, cur) 裁切或縮小產生 .ICO 檔,超好用的!

相機髒了怎麼辦?

(上圖來源:Google Search) 心愛的相機髒了怎麼辦?當然是要趕快幫他洗香香啊! Nikon D300s From: http://youtu.be/up3PDlwe7hs Pentax K5 From: http://youtu.be/TpjPqIE7e6s

再論構圖無用論.兼聊不愛腳架的壞習慣

(攝於沙崙海水浴場,Pentax K100D,DA 18-55mm) 三分之一構圖?四分之一構圖?對角線構圖?二分法構圖? 難不成要架好腳架之後,拿尺來量 LiveView 嗎? 我衷心的以為,每個人都應該忠於自己看世界的角度,別人不喜歡或者沒辦法接受那是他的事,你要做的,只是去展現你與眾不同的視野,讓別人學習去看懂你想說的故事。 這才是你的攝影。 我甚至覺得拿腳架是做弊了,手持 PK 吧!

我對後製的態度

(Nikon L35 AF,Konica Centuria Super 200,Lightroom) 我對後製的態度,比較接近一種對於顏色想像力的實驗,像是過期底片拍下的好構圖,壞天氣而難以耀眼的畫面,近來我開始用這些來完成一些想像。 然後,很不巧的,這些連自己都不敢相信的想像,Getty Images 收去賣了。 原圖》

淡水之夕.沙崙海水浴場

(攝於沙崙海水浴場,Pentax K100D,DA 18-55mm) 有沒有這麼愛淡水啊?連續兩個禮拜週末都在淡水海邊。 話說回來,如果今天沒有拜託別人幫我帶相機出門,我應該會哭哦。 爾後傍晚時分如果找不到我的人,我不是在這裡就是往這裡的路上吧。 一台已經跌破 5000 元的 DSLR 機身加一顆 2000 元都沒有人要的 Kit 鏡,如果有人嫌爛不想要可否拜託送給我。 Google Map 檢視較大的地圖

[M42] Fujica EBC Fujinon-T 135mm f3.5

鏡頭資料》From Pentax-manuals.com 對焦距離:1.5m - 無窮遠 光圈:f3.5 – f22 口徑:49mm 重量:300g 鏡片結構:四片四群 (圖片來源:Pentax-manuals.com) 光圈葉片:六片 視角:18.13度 A/M 切換:沒有 光圈環和對焦環都是使用波羅紋,觸感佳,操作方便,金屬鏡身,整體來說蠻小巧的。 實拍照》 Fujica ST801 + Fujica EBC Fujinon-T 135mm f3.5 M42 + Fujicolor 100 Sony A450 + Fujica EBC Fujinon-T 135mm f3.5 本鏡實拍相片集: Fujica EBC Fujinon-T 135mm f3.5 鏡身照》