TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
續上篇，若您錯過產品介紹，請點選開箱篇。
測試之前，我另外找了一條 SATA 延長線，可以讓 SSD 硬碟平放在機殼上，一端再接到主機板；另外也由於我最終是想用來取代家中那台 HTPC 的系統硬碟，所以也另外買了一個 2.5 吋硬碟安裝在桌機的托架。
(按：Kingston 金士頓提供的桌機升級組合，即附贈有一個 2.5 吋硬碟安裝在桌機 3.5 吋硬碟槽的托架，由於我拿到的測試品是筆電升級組合，所以是搭配 USB 外接盒。)
使用辦公室電腦做為測試平台：
CPU 類型：DualCore Intel Pentium E2200, 2200 MHz (11 x 200)
主機板名稱：Asus P5KPL-VM-TWPC
主機板晶片組：Intel Bearlake G31
系統記憶體：2048 MB (DDR2-800 DDR2 SDRAM)
DIMM1: Apacer Tech. 75.A73AA.G03 2 GB DDR2-800 DDR2 SDRAM (5-5-5-18 @ 400 MHz) (4-4-4-12 @ 266 MHz) (3-3-3-9 @ 200 MHz)
作業系統：Microsoft Windows XP Professional Service Pack 3
測試一：CrystalDiskMark 3.0
使用的測試軟體：CrystalDiskMark 3.0，可以測試循序讀寫以及隨機讀寫：512KB, 4KB, 4KB (Queue Depth=32) 的讀寫速度，本次每個項目測試五次取得平均值。
首先來測一下原來的硬碟：Seagate ST3250310AS (250 GB, 7200 RPM, SATA-II)
再來是 Kingston SSDNow 64GB V 的測試
測試二：HD Tach 3.0
使用的測試軟體：HD Tach 3.0，是個簡單易用且全面的硬碟測試軟體，包含了讀取速度、瞬間速度、隨機存取時間、平均讀取速度以及 CPU 使用率等資料，這些資料可以讓我們用來當做硬碟的一個指標，分別使用 QuickBench (8mb Zones) 以及 LongBench (32mb Zones) 測試。
首先來測一下原來的硬碟：Seagate ST3250310AS (250 GB, 7200 RPM, SATA-II)
QuickBench (8mb Zones)：測得均速為 86.4 MB/s
LongBench (32mb Zones)：測得均速為 85.9 MB/s
再來是 Kingston SSDNow 64GB V 的測試
QuickBench (8mb Zones)：測得均速為 223.3 MB/s
LongBench (32mb Zones)：測得均速為 221.2 MB/s
測試三：HD Tune Pro 4.01
使用的測試軟體：HD Tune，是一套實用、容易操作的硬碟工具軟體，其主要功能有硬碟傳輸速率檢查 、健康狀態檢查、溫度檢查及磁碟表面掃瞄等。另外，還能檢查出硬碟的硬體版本、序號、容量、快取大小以及目前的 Ultra DMA 模式等。雖然這些功能其它軟體也有，但難能可貴的是此軟體把所有這些功能集於一身，而且非常小巧，速度又快。在這裡我分別對兩顆硬碟簡單用「標準測試」來測試讀取速度的數據。
首先來測一下原來的硬碟：Seagate ST3250310AS (250 GB, 7200 RPM, SATA-II)
平均讀取速率為：79.6 MB/s，存取時間為：15.9 ms，溫度攝氏 41 度
再來是 Kingston SSDNow 64GB V 的測試
平均讀取速率為：209.5 MB/s，存取時間為：0.2 ms，溫度攝氏 35 度
桌機測試分享篇臨時小總結
看完以上三個軟體的測試數據，先來比對一下官方提供的循序讀寫速度測試數據：最高讀取速度: 200 MB/sec；最高寫入速度: 110 MB/sec，蠻實在，並不誇大哦！
整體來說，跟 SATA II 3.5 吋硬碟相比，效能至少達到了 2.5 倍以上。(按：上述測試均為同一台電腦同時接上傳統硬碟以及固態硬碟進行測試)
除了高速的表現，在速度穩定度方面也讓人印象深刻，在後面兩個軟體的測試中，可以發現固態硬碟的線圖呈現幾乎一條直線的水準，而傳統硬碟則是有遞減下滑的趨勢，這個部份，對於常需要處理大量大型圖片檔案或影片檔案的使用者來說，應該更能感受到 SSD 的強大！
另外，HD Tune 也測出了硬碟溫度，固態硬碟的低溫省電的優勢，當你使用在筆記型電腦上一定可以明顯的體會。(留待筆電測試篇再談)
桌機部份尚缺的測試項目：作業系統開機、套裝軟體開啟等，這個部份我會先進行 Ghost 之後，再實際說明使用上的感受，請見諒並靜待後續。
網路賣場價格參考：
下個月繳完稅準備下手了!
回覆刪除衝啊！直上 128GB！
回覆刪除