跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

[拍立得相機] Polaroid Spectra System SE・1986

Polaroid Spectra》 八零年代,Polaroid 推出了 Spectra 系統,提供一種相較於以往 100 系、600 系更為寬幅的影像比例,整張相紙約為 10.2 x 10.5 公分,成像畫面則為 9.2 x 7.3 公分。 簡單一點描述畫面比例的感覺,大概就是原本 66 1:1 的畫面比例,變成了 67 和 68 之間的畫面比例。 來看一下 Polaroid Spectra System 當年的廣告 (From: http://youtu.be/mgIPV20QAgY ) 國外有個 部落客 的說法,我略有同感。我自己覺得 Spectra 系統的電子系統穩定性高多了,無論是對焦和測光,Spectra 提供了更大的片幅和新的成像顯像技術,同樣簡單的拍攝,更好的成像品質,卻似乎沒有形成比 600 系更貼近消費者端的流行。 Spectra System SE 簡要規格》 鏡頭: 125mm f/10 3-element Quintic Lens,SE 機種的鏡頭有些會標示 Glass Coated Lens 快門: 電子快門,快門速度 2.8 秒 - 1/200 秒 曝光: 全自動 Polaroid 聲納自動對焦系統 可鎖定對焦於無限遠或切換為自動對焦 對焦距離顯示於觀景窗內(可切換為英制 feet 或公制 M 顯示) 內建自動電子閃燈 內建自拍機制 可外接電子快門線 可用的底片:Polaroid 1200, Polaroid 700, Polaroid 990, Polaroid Image/Spectra 可外接近攝鏡、濾鏡等 手冊截圖 一些 Spectra 系統改機和玩樂的影片》 Double exposures on Polaroid Spectra Modify Your Polaroid Spectra to use Sheet Film 拿 2005 年過期的 1200 試拍了幾張,蠻好玩的。 with F112 Close-up lens,固定對焦距離約 30 公分,祝大家新年快樂! 然後是 impossible 出的 color for spectra

賀。

老弟終於把交往十多年的女朋友升級成老婆,恭喜恭喜! 同時這也是 Angel 的花童初體驗,她相當的盡責努力,我們自行比照新娘規格,準備了三套禮服讓小花童也過過換裝的癮,評價甚高。 祝福弟弟弟妹,白頭偕老,永浴愛河。

[底片集] Horizon 202 卷一

使用相機:Horizon 202 使用底片:Fujifilm X-tra 400 沖掃店家:台北紫羅蘭 最近寫了一篇連我老婆都覺得我很亂寫的東西,是應一位很熱心推廣底片的學妹的文字邀稿,但我真的不擅文詞,所以很簡短的回應了那篇的問題,我看其他玩家都很熱心的寫了很多內容,分享拍攝底片的各種快樂,覺得很棒,在此向大家推薦學妹的 Blog:[[ * 寫給時光的影像情書 ]] 我在寫 那十個問題 的前一天,家裡來了水電跟我在頂樓裝加壓馬達,於是我回答的第十個問題:最近有什麼事物/活動/作品讓你獲得靈感?照片是底下這張: 總試著讓自己的人生多些慰藉,留下軌跡。習慣了圖像記憶,看著照片還能想起當時在哪裡,我認為這樣很幸福。 其他本卷照片: Horizon 202 vol.1

態度,1976,2015 新年快樂。

1976樂團 態度 作詞:陳瑞凱 作曲:陳瑞凱 活得太快樂會失去理想 活得太自由會沒有目標 我不要目標和理想 我只要快樂和自由 腦袋裡有太多的執著 執著太多會產生煩惱 煩惱慢慢糾纏在一起 纏著纏著我就會忘記 我還有心愛的人 一個搖滾樂隊 口袋裡還有一點錢 世界末日就是明天 這就是我的生活態度 用盡我全身的力氣 去唱去喊去找快樂 世界末日就是明天 這就是我的生活態度

[底片集] 一陣子・Contax F 卷一

使用相機:Contax F with Carl Zeiss Jena Biotar 58mm f2 M42 使用底片:Fujifilm X-tra 400 沖掃店家:台北紫羅蘭 其實過了有一點久,這卷拍完的時間都過了兩個月了,這陣子好忙,拖稿一堆沒寫,有時候想想其實也沒什麼人在看,就這樣一直放著。 能玩到這相機組合也是要感謝賴格子先生的。 照片以下。 其他本卷照片: Contax F vol.1

日常。

我這個鄉巴佬每日進城的畫面,是進入另一個空間的隧道。 穿過隧道,發條上緊。 面試的時候,遇見中南部的面試者,內心總不免多些鄉愁。 臺北異鄉,早安你好。

未曾開始的結束。

(Minolta Hi-matic CS,Kodak T-Max 400 TMY) 移情,時常發生。 傑爾這幾年的婚姻,並非未曾對其他女性動心,也曾經被男性店員告白。 兩個人見到面,空氣總是瞬間凝結,傑爾和愛蓮都不愛準時回家。 傑爾每天下班回家前,會到公司附近的 7-11 買一包煙,坐在店門口抽它個一小時。晚班固定的那位店員云良,一進店門定會準備好傑爾慣抽的香菸,拿給傑爾,每天固定的聊上幾句。有一次加班,很晚,晚班店員交班了,他們買了兩瓶啤酒,愉快的暢飲閒聊,話匣子一開,云良提議唱歌續攤,於是兩個人開了個小包廂,通宵唱歌談天,兩個人坐得很靠近,情歌對唱何其開懷,兩手啤酒,杯盤狼籍。 對唱入戲,云良牽了傑爾的手,合唱擁抱,「抱緊我,吻我,哦愛別走」,情不自禁的吻了傑爾的臉頰。 震驚的傑爾,大動作彈開,尷尬的氣氛讓兩個人靜默了好久,連忙結束包廂,各自回家。 公司簽了一份大合約,客戶負責那次合作專案的窗口,有位可愛的助理妹妹婉君,每次聯繫,總是不自覺地多跟她聊上幾句,光聲音的甜美就能讓每天的心情愉悅到不行,對話像極了男女朋友的互相關心,默默的也生了感情。 兩家公司不遠,傑爾總是會安排在下班前,步行到客戶的公司,處理一些專案的相關事宜,下班時間,一起用個晚餐,陪婉君或坐捷運或坐公車回婉君家的巷口,目送她離開再自己搭計程車回家;平時愈來愈密切的手機聯絡,討論公事之餘也不乏調情的甜蜜,即使話語投機,興趣相投,兩人仍始終謹守著分際。 大半年的時間過去,八月十八,專案順利結束了,傑爾想要電話邀約婉君,一方面自陳離婚的狀態,二方面也想向婉君告白。訂好餐廳,滿心歡喜的打電話到客戶公司,才知道案子結束前,婉君便離開公司,撥了手機號碼也停用。 沒有開始,卻已結束。