TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
去年老婆在彌月房坐月子的時候，我拍下了這張照片。
到這裡坐月子有點因緣際會啦，原本在中山醫院生 Angel 之前，就訂好了中山醫院七樓的月子中心，生完 Angel 的第二天，因為中山醫院讓我們感覺不是很好，所以臨時決定另外再找，在網路上找到這一家，抱著姑且一試的心情，打了電話過去，居然還有房間耶！真是太幸運，我們也沒有時間再去看一下環境，衝著網路上的評價，就決定去了彌月房。參考網站：彌月房產後護理之家
因為我不是來做月子中心廣告的，所以我還是回到正題來談談這張照片。
這張照片拍出來的時候，我自己都嚇了一跳，是哪一尊神明嗎？巧妙灑落的那一道光，就像是天使下凡。母親對孩子無微不至的照料，就像是守護孩子的天使，而孩子也是我們的天使，充實了我們的生命。
底下還有一張是我拍的第一張有 fu 的照片，自封為「普立茲獎」獲獎作品
哈囉Angel PaPa您好，
回覆刪除我是彌月房的陳小姐，好久不見，你們家的Angel好嗎? 我們有特別為Angel寫了一篇部落格，日期是12月3日，標題是 Angel is comming to the world ，在彌月房的部落格裡面，如果您跟MaMa有空的時候，可以去看看喔，彌月房部落格如下: http://babymoon30.blogspot.com/search?updated-max=2008-12-18T22:29:00%2B08:00&max-results=7
~彌月房陳小姐敬上
那時就看到了～很感謝唷～那文字是誰寫的，亂噁心一把的～
回覆刪除