TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
法國巴黎人壽房貸壽險 一肩扛起你的家
漫步在巴黎街頭、享受時尚與品味的優雅、品嚐精緻的法式甜點、欣賞浪漫巴黎鐵塔景緻、在香榭大道上踏出自信迷人的步伐…現在這一切有機會成真了！法國巴黎人壽要送你到巴黎度假囉！快到法國巴黎人壽Facebook粉絲團參加『讚在Je t'aime我愛你』活動，就有機會獲得法國巴黎來回機票，還有多項限量好禮喔！
您是否已經深感房貸壓力的沉重，或是正在計畫購買屬於自己的夢想小窩呢？ 根據法國巴黎人壽2009年所做的國人消費行為調查顯示，房屋貸款是台灣民眾最大的負債，平均背負的房貸金額為500萬，對於壽險保障平均不到100萬的國人而言，當發生意外變故時，等於會產生400萬的財務缺口，萬一貸款人不幸身故，壽險理賠將無法支付房貸餘額，一人倒就全家倒，房貸負擔將會是家人的沉重壓力。
一般的人身壽險，理賠保險金是直接給付給受益人，而房貸壽險是以清償房貸餘額為目標，投保後，當房屋貸款人發生意外而無法繼續支付貸款時，保險理賠金將用來清償房貸，讓家人能繼續擁有房子，不會因為繳不出房貸而導致房子被法院或銀行拍賣；如果還有剩餘的理賠金，也會給指定受益人。
有了最完整的買房計畫，當然也要有最完整的保障！將幸福延續、別讓壓力延續，法國巴黎人壽「房貸壽險」，讓您和您的家人，擁有最安心的幸福。
法國巴黎人壽「房貸壽險」：http://www.cardif.com.tw/life/z2307.php
活動網址: http://apps.facebook.com/cardiftw
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！