跳到主要內容

發表文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據：Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
張貼留言
閱讀完整內容

日常。

我這個鄉巴佬每日進城的畫面，是進入另一個空間的隧道。 穿過隧道，發條上緊。 面試的時候，遇見中南部的面試者，內心總不免多些鄉愁。 臺北異鄉，早安你好。
張貼留言
閱讀完整內容

未曾開始的結束。

(Minolta Hi-matic CS，Kodak T-Max 400 TMY) 移情，時常發生。 傑爾這幾年的婚姻，並非未曾對其他女性動心，也曾經被男性店員告白。 兩個人見到面，空氣總是瞬間凝結，傑爾和愛蓮都不愛準時回家。 傑爾每天下班回家前，會到公司附近的 7-11 買一包煙，坐在店門口抽它個一小時。晚班固定的那位店員云良，一進店門定會準備好傑爾慣抽的香菸，拿給傑爾，每天固定的聊上幾句。有一次加班，很晚，晚班店員交班了，他們買了兩瓶啤酒，愉快的暢飲閒聊，話匣子一開，云良提議唱歌續攤，於是兩個人開了個小包廂，通宵唱歌談天，兩個人坐得很靠近，情歌對唱何其開懷，兩手啤酒，杯盤狼籍。 對唱入戲，云良牽了傑爾的手，合唱擁抱，「抱緊我，吻我，哦愛別走」，情不自禁的吻了傑爾的臉頰。 震驚的傑爾，大動作彈開，尷尬的氣氛讓兩個人靜默了好久，連忙結束包廂，各自回家。 公司簽了一份大合約，客戶負責那次合作專案的窗口，有位可愛的助理妹妹婉君，每次聯繫，總是不自覺地多跟她聊上幾句，光聲音的甜美就能讓每天的心情愉悅到不行，對話像極了男女朋友的互相關心，默默的也生了感情。 兩家公司不遠，傑爾總是會安排在下班前，步行到客戶的公司，處理一些專案的相關事宜，下班時間，一起用個晚餐，陪婉君或坐捷運或坐公車回婉君家的巷口，目送她離開再自己搭計程車回家；平時愈來愈密切的手機聯絡，討論公事之餘也不乏調情的甜蜜，即使話語投機，興趣相投，兩人仍始終謹守著分際。 大半年的時間過去，八月十八，專案順利結束了，傑爾想要電話邀約婉君，一方面自陳離婚的狀態，二方面也想向婉君告白。訂好餐廳，滿心歡喜的打電話到客戶公司，才知道案子結束前，婉君便離開公司，撥了手機號碼也停用。 沒有開始，卻已結束。
張貼留言
閱讀完整內容

如何讓 Android File Transfer 軟體在接上 Android 裝置時不自動執行

Download:  https://www.android.com/filetransfer/ Android File Transfer 是一套在 Mac OS X 底下可以上傳和下載 Android 裝置裡面檔案的軟體，但有個很討厭的地方是他會在接上 Android 裝置時自動啟動，以下的方法可以關掉： 1. 若 Android File Transfer 正在執行中，請先關閉 Android File Transfer。 2. 打開活動監視器，找到 Android File Transfer Agent 並結束他。 3. 找到您安裝 Android File Transfer.app 的位置（一般是在 /Applications），進入以下的路徑：以下用 Terminal 操作 cd /Applications/Android\ File\ Transfer.app/Contents/Resources/ mv Android\ File\ Transfer\ Agent.app Android\ File\ Transfer\ Agent_DISABLED.app 4. 同樣的方法改掉另一個資料夾的檔案，假設您的使用者名稱為 hahaha cd /Users/hahaha/Library/Application\ Support/Google/Android\ File\ Transfer/ mv Android\ File\ Transfer\ Agent.app Android\ File\ Transfer\ Agent_DISABLED.app 搞定。
張貼留言
閱讀完整內容

新生活。

這一年來，貴人很多。 總算在結婚六年，找到了屬於自家的房子。 附近的河堤，那片綠油油的農田，遠處的山，夕陽落在山後的那片雲彩，總覺得幾個月前還是一場夢，現在卻鮮明的近在眼前。 很感謝身邊的妳們，讓我這浪子能有這種程度的歸屬感，我不擅言詞，靜靜的享受著變化，平常日的晚歸少了很多的參與，裝修的進度、用料、傢俱等等，總讓妳們煩心。 感覺自己多少有點坐享其成，那關於家的想望，在我心裡，其實是當成夢想卻怯於追求的。 如果不是妳們，如今的我理應孑然一身，放蕩著，假裝堅強的不羈著，似乎才是我所想像的三十五歲時的形象。 由衷的感激寫在這裡，願我們一家人幸福的走向未來。 (攝於羅東溪畔，Polaroid J797，Rodenstock Yasrex 127mm f4.7，Fujifilm FP100C Silk)
2 則留言
閱讀完整內容

[傻瓜拍相機] Universal Mercury II．1945

二戰後由美國 Universal Camera Corporation 推出的 Mercury II（水星二號）。 Universal 公司於 1932 年在紐約成立，以製造相機、電影攝影機和放映機以及軍用的雙筒望遠鏡為主，大部份皆以 Univex 品牌推出，這公司在 1952 年宣布破產，但大約於 12 年後的 1964 年才停止公司營運。 MERCURY 系列 早在二戰前，Universal 便推出了水星系列的相機，其實 1938 年推出的水星一代（MERCURY I，MERCURY MODEL CC）是世界上第一款相機內建金屬接點觸發的閃燈靴座（熱靴），在那之前所有的閃燈靴座都只是讓閃燈架在相機上面，另外再透過連接線連動快門。 最早的熱靴設計，From US2270311 專利文件。 水星系列的快門也是很獨特的設計，據說就是因為 Universal 公司是生產電影攝影機專門的公司，所以在 MERCURY 快門的設計上，才會採用旋轉式的快門，而非一般我們看到的横走或縱走的簾幕設計。 少見的旋轉式快門設計，From US2274707 專利文件。 MERCURY I 水星一代更是早在 1938 年就推出的半格片幅可換鏡相機，但當時採用的底片型式並非目前我們所見的由 KODAK 推出的 135 底片型式，而是由 UNIVERSAL 公司和比利時的 Gevaert 公司簽約製造的特殊底片型式。 MERCURY 系列也創下快門速度的紀錄，當時德國的 Zeiss Ikon 推出的 Contax II，最速快門為 1/1250 秒，而 MERCURY 則是完成了最速快門為 1/1500 秒的相機，資料上稱該款相機為 MERCURY MODEL CC - 1500。 資料參考： “America’s Challenge to the World’s Finest Cameras” – the UniveX Mercury Model CC World’s Fastest – the Mercury CC-1500 Superspeed Univex Mercury: The American Way 戰後 MERCURY II 二戰後所推出的水星二代（MERCURY II），基本上沿襲了水星一代的設計，最重要的是採用了目前我們所能見到的 13...
張貼留言
閱讀完整內容

[底片集] Olympus 35 LC 卷二

使用相機： Olympus 35 LC 使用底片：Fujifilm REALA 100 過期 沖掃店家：台北紫羅蘭 留著這台，基本上是無悔的選擇。 這卷夯不啷噹拍了一個半月左右，其實很驚訝在這麼酷熱的環境之下，這卷過期片卻猛得像沒什麼過期一樣，不由得擔心起當手上的 REALA 拍完的那一天來臨，自己還能不能有這麼好的底片可以拍。 我們的底片時代，是不是快要結束了？ 台南以下。 宜蘭以下。 其他本卷照片： Olympus 35 LC vol.2
2 則留言
閱讀完整內容

新光產物保險-理賠案例

103年9月份保戶王小姐行車不慎與機車發生車禍事故。新光產物保險理賠員當日下午收到客戶的出險通知即與客戶聯絡，即時了解車禍情形、雙方損傷狀況及後續應配合事項。  客戶是第一次發生車禍，情緒很緊張，也很擔心後續賠償金額及法律責任。新光產險理賠員安撫客戶情緒，解說車禍處理流程，先說明新光產物保險公司會與對方聯絡，了解對造情形，再來會至警方申請事故相關資料以釐清雙方肇事責任。此外車禍處理仍需客戶的協助，諸如提供事故資料及關心對方，皆有利後續雙方調解，在賠案處理期間有問題隨時可與我聯絡。 接著新光產險理賠員再與對方聯絡，了解對方之傷勢狀況及機車受損情形，同時留下理賠員聯絡電話。 自車禍發生至和解完畢期間，只要對方有新資料提供給本公司或詢問任何求償問題，新光產險理賠員皆會回報客戶，讓客戶同步掌握車禍處理進度。 客戶關切警方肇事責任如何認定或賠償金額如何算，理賠員皆會主動說明，從而獲得客戶之信任。 理賠員自覺客戶投保新光產物保險，為的就是對於未來不確定的事故有份保障，客戶能感受保險有效保障，最主要還是使客戶對於車禍資訊有完整了解，讓客戶在面對對方之求償金額或是接收到錯誤資訊時，不會感覺疑慮和擔心。 新光產險理賠員發揮專業能力適時化解雙方疑慮，調解時也陪同協助，加上和解前置作業安排妥當，與對方評估合理求償金額相近，本起車禍當事人才能順利和解，讓一起令人煩擾不快之車禍案件獲得合理且迅速的處理。客戶王小姐感受新光產險理賠員之服務並肯定理賠之用心和努力，致電公司0800讚許。
張貼留言
閱讀完整內容