TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
幸福認養平台，幫助流浪動物找到家
每每看到路上的流浪貓狗被人類欺負，或是在車陣中驚恐地闖蕩，甚至有一餐沒一餐地為了生存而冒險，總是令人於心不忍。跟家中幸福的寵物相比，牠們雖然有著相似的無辜眼神，但流浪動物所透露出的神情，更讓人多了一分不捨。
不少民眾在路上撿到流浪動物，選擇直接送往收容所，卻不知送往收容所的那一刻，等於間接判了死刑，成為剝奪生命的幫兇。
台灣多數收容所礙於空間和資源有限，無法容納太多流浪貓狗，因此每隻貓狗平均只有短短12天的認養期；萬一期限到了卻無人認養，就必須面臨安樂死的命運。
事實上，台灣不乏許多善心的動保團體與中途之家，成功地從死神手中搶救許多生命。然而，現今仍缺乏一個資訊完整、曝光量高、使用便利、美觀易讀的平台，幫助這些毛孩子們早日找到新家。
一群關心流浪動物的夥伴，為了貫徹「以認養代替購買」的理念，在 8 月中成立的【iPet 愛寵物】網站上，特地開闢了「幸福認養」專區：http://www.5ipet.com.tw/
【iPet 愛寵物】免費為每一個等待幸福中的毛孩子，製作專屬的認養頁面，記載照片、詳細資訊、認養須知，並且透過人氣極高的粉絲團來轉貼，希望能幫助無家可歸的毛孩子，儘快找到一個永遠愛護牠的好主人。
想帶一隻可愛的狗狗或貓貓回家陪伴你嗎？請給這些毛孩子一個重生的機會，他們會回饋給你滿滿的愛。【iPet愛寵物】也歡迎中途之家、收容所、公益團體等單位，提供待認養貓狗的資訊，讓大家一起為流浪動物盡一份心力。
快加入【iPet愛寵物】粉絲團，一起分享豐富實用的照顧資訊／景點、餐廳、活動介紹／可愛寫真／試吃好康吧！
更多【iPet愛寵物】好文：
確實植入晶片 安全不走失
養寵物之前想一想...〈環境篇〉
養寵物之前想一想...〈責任感篇〉
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！