TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
不過今年在老婆的暗示之下,最後我挑了項鍊做為白色情人節的禮物。這次的禮物除了裝飾的用途外(裝飾這用途實際上是多餘的,我老婆根本用不著!),是有健康概念的哦!適合久站久坐上班族、運動員,還有單車族,長期配戴能促進血液循環、釋放負離子、減輕肌肉酸痛與神經緊繃的程度,並增加改善人體磁場的能量。
雖然不太知道這東西的效果有沒有這麼神奇。老婆剛剛說她昨天只是用手拿,都還沒戴上呢!今天居然可以做這麼多家事,精神又特好,雖然知道她是在虧我都不做家事,我想她喜歡最重要啦! 另外,PChome 的 24H 購物也是很不賴啦,我禮拜五中午訂購,想說禮拜六中午收到貨剛好老婆加班回家就可以拿到禮物,沒想到十點還沒到,貨就送來了,要不是要看王建民,我可能都還在睡呢! 參考:PChome 購物
同時介紹鈦鍺飾品的專家,日本羽鈦
純鈦商品非常的輕,只有鐵的百分之六十,且金屬色澤穩定不氧化,非常適合男性配戴上山下海遊玩。因此本公司有相當廣泛的年輕男性顧客層。且純鈦保溫效果佳,與不鏽鋼相近卻比鋼輕多了,因此配戴時有很好的保溫效果,可參考本公司的體溫圖,手指在配戴戒指後有局部的溫度上升。此外純鈦金屬有極佳的穩定性,比純銀純金還要好,因此在醫療上有諸多應用,若有對金屬過敏的人可考慮配戴純鈦飾品,較純金純銀更不容易引起皮膚的金屬性過敏。
Leger 日本羽鈦的商品優勢:
完全日本製、純鈦純鍺也是在日本當地焠煉,由日本設計師設計的純日本鈦鍺品牌。品項多樣化,質感佳,沒有市面上常見中國製鈦鍺飾品的粗劣感,戴起來輕盈舒適又高雅。台灣百貨專櫃諸多設櫃,微風廣場、SOGO、新光三越皆有專櫃設置。
門市選購,也提供線上購物哦!白色情人節可以送給情人哦!
真是體貼的老公啊!!!
回覆刪除說真的,用網路買東西送人,我也算夠懶的了!算不上體貼啦~
回覆刪除