TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(彌月房，Pentax K100D，FA 43mm)
最近申請 Getty Images 審核，我是透過 Flickr 的一個群組去申請，這個群組是 Getty Images 會邀請已經是 Contributor 的 Flickr 使用者加入，一個月可以貼 25 張進群組供 Getty Images 去審核，通過的話會以 Email 通知，感覺審核的速度有比以前快一點，不過也不算快，畢竟裡頭圖實在太多張。
這次通過的兩張都是老婆小孩照片，上面這張是 Angel 出生第五天在月子中心拍的照片，不知道是自己之前忘記申請這張還是 Getty Images 沒有選，我還蠻喜歡這張的，下面這張我就不知道為什麼選了，不過還好那張底片拍的當初有掃 600 萬畫素的大圖，就不用自己再掃一遍。
(蘇花公路，Minolta 707si，Minolta AF 28mm)
申請 Getty Images 基本上算是蠻容易的，你除了先準備一個 Paypal 的帳號準備收錢，Model Release Form 的部份有中文版的可以下載所以不致於看不懂，只有一張跟稅有關的表單是英文的，而且是要填寫好從國外寄回美國，好確認你是外國人可以免一些稅額，表單的填寫有範例也不致於太困難，基本上也要等到累積超過 100 美金 Getty Images 第一次付款給你之後才會需要填這張表，所以也不用急。我想像我拍這麼爛都會入選 Getty Images，應該很多爸爸媽媽拍的小孩照片都很容易入選吧，不妨嘗試看看，算是一點點小收入可以補貼一點奶粉錢。
另外，上次領到錢之後，又陸續看到兩筆累積的訂單，同樣都是小孩吃東西那張，這張銷路還真是好:P
小朋友也會賺錢摟
回覆刪除:D 都靠她了...
回覆刪除吉米大哥您好，想要請教你，我也有參與Getty Images 的申請，不過在審核時有需要上傳模特兒同意書，關於這個請問一下大哥您是如何處理這份文件的呢?是列印出來全手寫還是直接電腦輸入呢謝謝
回覆刪除Re: Ian Tsai <1059085445535990571>
回覆刪除恭喜你！
我是個乖乖牌，我真的是印出來填寫，然後再掃描成圖檔。
ps.我覺得應該是可以用電腦填，然後再掃描簽名檔貼上去就可以，人像授權的精神應該是要充份告知被拍攝的人這張表格上的內容和圖片的使用情況就可以了。
非常的感謝您的回覆，我是因為電腦沒辦法完整的編輯pdf
回覆刪除後來才發現原來可以轉成jpg給它
原本是查詢相關的問題不過發現這裡也有許多不錯的文章分享也算是另一種收獲 :)
Re: Ian Tsai <4470138004617997486>
回覆刪除^o^