TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(攝於永和仁愛公園，KM Alpha Sweet Digital，KM AF DT 18-70mm)
天空灰濛濛的，回到家裡整個喉嚨都不舒服，雖然知道是沙塵暴，但晚上看新聞才知道這是台灣史上最大的！
本來有幫 Angel 戴口罩，不過小孩子都戴不住。
帶 Angel 到有小朋友的地方，每次都會莫名的 High 起來，這算是人來瘋嗎？
儘管今天空氣品質如此不佳，還是不少人帶小孩子到公園玩耍的。
馬麻特別準備了一盒蘋果給 Angel 吃。
空氣品質真的很差，所以我們早早回家了。
其他照片：Flickr: 2010.03.21 散步永和仁愛公園
最後來看一下今天的新聞：
史上最大沙塵監測器破表20個站 歷年之最
2010-03-21 新聞速報 【中廣新聞／董媛瑜】
台灣出現史上最大沙塵暴，懸浮微粒濃度不斷飆升，中午左右，突破環保署監測儀器極限植1000，已經達20個測站，創歷年之最，多數是在北部、外島地區，空氣品質已經達到非常不良等級，觀察這兩年雖然沙塵暴襲台次數減少，但是影響程度卻越來越嚴重，環保署指出成因非常複雜，可能與氣候變遷、沙漠化面積有關。
去年四月，台灣曾發生一千微克/每立方公尺的高濃度沙塵，21號今年第二波的大陸沙塵來襲，規模影響之大，再創歷史紀錄，環保署監資處處長朱雨其指出，以2004年為例，有八到九波沙塵襲台，不過時間都不長，影響程度與範圍也沒這麼嚴重，但是這一、兩年，大陸沙塵對台的影響，由過去的次數多，轉變為影響程度變嚴重，改變的原因複雜，研判可能與氣候變遷有關。
「我們這一兩年，去年跟今年大概目前就是說頻率可能不是那麼高，但是如果的話就很大，可能是氣候變遷或是其它因素，或是比較乾，沙漠化的面積，這個成因就很複雜。」
由於空氣懸浮微粒正常值應該是50，不過這波劇烈沙塵，同時間讓20個測站，監測到破千以上的指數，影響程度創下新高，環保署表示，歷年 11到5月都是沙塵容易影響台灣的時間，將持續監測，後續影響仍要觀察。
新聞來源：http://news.chinatimes.com/focus/0,5243,50104742x132010032100625,00.html
我前幾天在網路上購買一種隱形口罩
回覆刪除蠻好用的, 有六項發明專利呦
www.healthnaso.com 妙鼻舒
分享給大家
謝謝分享
回覆刪除