TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
Amazon提供Prime客戶免費影片串流服務
iThome Online - 47分鐘之前
Amazon針對Prime會員所提供的免費串流影片服務讓該站與Netflix的競爭逐漸白熱化。Netflix為美國最受歡迎的影片租賃網站，同時提供郵寄及串流服務，若同時享用兩種服務的月費為9.99美元，若只透過線上串流的月費是7.99美元。 Amazon周二（2/22）宣布，將提供Amazon Prime ...
亞馬遜提供Prime會員免費串流影片服務 進軍新市場
鉅亨網 - 14小時之前
美國最大網路零售商亞馬遜(Amazon.com Inc.)(AMZN-US) 周二(22日) 宣布，已對「Prime」的高級串流影片觀賞用戶，推出一種新的服務，直接和線上影片租售業者Netflix Inc (NFLX-US) 正面挑戰。 公司表示，將開放用戶無限制的免費觀賞影片，包括超過5000 多部電影和電視節目 ...
亞馬遜供高級會員串流影片服務
中央通訊社 - 13小時之前
（中央社台北23日電）全球最大線上零售商─亞馬遜網路書店（Amazon.com Inc.）昨天開始為擁有Prime送貨到府服務的會員，提供超過5000部電影和電視節目影片即時串流。 亞馬遜今天在聲明中表示，這是亞馬遜InstantVideo的附加服務。可利用Instant Video租借或購買9萬部以上 ...
亞馬遜推出免費電影串流服務 5000多視頻
財經日報 - 7小時之前
今日消息，美國在線零售巨頭亞馬遜星期二推出了一項電影串流服務，與互聯網電影明星企業Netflix展開直接的競爭。 亞馬遜把訪問這項電影服務與亞馬遜Prime服務捆綁在一起。亞馬遜Prime服務每年收費79美元，向亞馬遜用戶提供沒有限製的免費送書和其它物品的服務。 ...
MORE ON: Google News
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！