TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
前往三芝，有家很有特色的「旅途中民宿」，民宿主人的精心巧思，把這裡打造成饒富海洋風味的主題民宿，這也是三芝海岸第一家民宿。
有三間各具特色的房間，有一個大吧台和餐桌，三五好友同住，在窗邊的躺椅上，你可以享受一大片的海景，民宿主人堅持不放電視，讓你來到這裡，享受完全海邊的生活，你可以靜靜地寫寫東西，民宿裡的訪客留言本，有著來過這裡的朋友們所分享的文字。
頂樓有一大片的露台，碧海沙岸，海風吹來，好不自在。
到海邊走走，戲水玩沙，樓下有水龍頭讓你沖沖腳，附近有很多具有特色的餐廳，很值得你花上一個下午，細細的停留，品嚐海洋風味。
這裡也是我們自助婚紗照的拍攝景點，我們是請大姨子攝影，我權充攝影助理，拿拿反光板，老婆則是把訂做的跟買的婚紗帶著，化妝造型自己來。(之前寫的：結婚的影片，婚紗篇)
你看，很多人來這裡拍婚紗哦！第一張照片最下方的那一對，是夫妻兩個人自己來，用腳架自拍婚紗的哦！比我們還猛！
底下再分享一些利用旅途中民宿所拍攝的照片
這一間是我跟我老婆第一次來住的房間，是一間很浪漫的雙人房，所以我們特別選定這裡，來拍我們的婚妙照。
我們自己帶了兩個愛心餐盤，利用房間美麗的牆面拍攝。
一整天下來，真是辛苦了攝影師大姨子了，不過雖然這麼累，坐在秋千上，兩姐妹仍然有力氣搞笑滴。
海邊的特色餐廳，很有地中海風味，是我們第二天的拍攝重點。
在海邊走累了，回到民宿裡，到吧台煮點東西，與三五好友分享，或是一個人坐在秋千上靜思，一切都愜意！
旅途中系列現在有兩家，您可以自行上網參觀哦！到三芝走走，別忘了探訪一下旅途中哦！
有沒有人說過你某些角度有點像安伯政 XD
回覆刪除ㄎㄎ, 是沒有, 我剛剛看了一下照片, 我想愛心餐盤的那一張有一點點像...
回覆刪除