跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

撕拉死啦。

Fuji said: we cannot now change our decision. Thus, we respectfully decline your proposals. From: https://www.change.org/p/save-instant-film/u/16328075 撕拉死啦。

還是有拍立得。

既然都開始寫了,順便也貼幾張幫學生拍的拍立得。 這學期因為攝影社的關係,幾乎兩年沒拍照的我終於又重新開始。雖然還是沒有巔峰時期的手感與狂熱,但看到拍出來的照片和被攝者拿到照片時的歡喜,還是略略的點燃了一些殘存的熱情。 一開始打開這台 Graflex 的時候,久違了的心情,很難言喻,加上這朋友贊助的底片。或許都是因為還有愛,所以繼續拍照吧。 Graflex crown, 135mm, fp3000b

一時興起。

很久沒寫點什麼,算一算,來學校工作也將要滿一年了。 和學校裡的這些年輕人相處,讓我常常在回想高中時期到底是什麼模樣,那些年,沒把妹沒拍照,連老師的長相都像不曾暫存在腦海一般。 即將送走一屆畢業生,回頭看看那些若有似無的情感,你們何時會回想起高中生活的同儕師長,是美好抑或恐懼,是喜悅還是哀傷,好像都將淡薄得不復記憶。 而走廊上你們的身影,又將是一番新的組合。 By Ricoh GR Digital

別了。

妳這黏人卻又不聽話的孩子,別了。

自我揭露。

非典型學習者與非典型教育工作者 「非典型」相對於「典型」,程度極端者,近乎怪胎之意。 1997,銜父母之命,進了教育系。上諮商團輔課,總覺得自己應該是被研究對象而不是研究者;上課時間同學在教室遇不到我,但若到學校電算中心,我應該正坐在某個位置上;宿舍的桌上,沒什麼系上的課本,電腦螢幕卻常常是一堆爬得奇奇怪怪大刮號分號的文字。 大一到大四,每次上台報告或試教都是坑坑巴巴,台下同學的眼神訊息: 「你就不愛上課嘛」 「還以為你有多行,原來真的這麼爛哦」 「趕快下台吧」 「想幫助牠」 畢業前,我放棄了實習,父母非常不諒解。他們當時或許無法理解,除了我說的出口的理由,更多的是無法上台的自卑。在這逃離教師工作的十多年間,我大部份從事著與教育無直接相關的工作,憑著些許薄弱的資訊能力,掙口飯吃。 快轉這十多年,來到今年五月,我終於結束長達兩年的台北宜蘭通車生活,來慈心謀職。 八月底的學校教師研習,我在眾教師先進和長官們的面前報告了研習的心得;九月初,我第一次站上高中講台,那是我的第一堂課。 九月底,我和一位學生到台北進行專題的拍攝,在艋舺遇著一位專門拍攝東南亞人文題材的日本長者,一口流利的中文和台語。他讓我們看見長期耕耘的厚度,攝影者與被攝者之間因為相互信任而合力完成接近完美真實的影像。 教育,在我眼裡其實是很簡單的圖像。當你願意捲起袖子體驗人生,你自然就能成一本值得被翻閱的教材。 1997,Great Teacher Onizuka,好像一直還在我的血液裡。 吉米,2015 秋

升小一繪本選摘

Angel 要升小一了,昨天跟我分享她這幾天的繪本記事。 故事是一顆心形的汽球,被收藏在神秘的寶盒裡,因為飛不出去,於是越來越小。 似乎是幅關於失去自由的畫作,頗有感,故記之。

[底片集] Topcon RE Super 卷八

使用相機: Topcon RE Super  with  TOPCON RE. Auto-Topcor 58mm F1.4 使用底片:Perutz Primera 200 過期 沖掃店家:台北紫羅蘭 每每想用這台拍出自認高級的照片,然後試圖脫手拿回現金時,總是最後退縮。 年初拍完的這一卷,至少拍了兩個多月那麼久,約莫去年冬天到今天春天,過程裡面有太多心情的轉換,有歡喜有悲傷,當時這卷洗出來後,因為那照片中的五味雜陳而不忍回憶。 結束這兩年通勤生活的兩個月後,最近以早睡早起的姿態在宜蘭生活著,無光害滿天星斗的夜晚以及伴隨著鳥叫和貓咬而自然醒的早晨,終於過著像個宜蘭人的生活。或許因為平淡,所以也減少了按快門這樣的療程,也許過陣子調整調整節奏,可以有意識的再度拿起相機,畢竟一位以無病呻吟見長的作者,要改變風格也請您給點時間這樣。 照片以下 其他本卷照片: Topcon RE Super vol.8