TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
一般來說，文書處理、上網查資料、看影片、玩玩遊戲，大致是家人會使用到的範圍。
需求分析一下，以我家來說，我媽完全不碰電腦，我爸用電腦查資料、打一些文件、玩微軟內建的紙牌遊戲，我弟看看影片、寫報告、找資料、與女朋友聊天、偶爾需要打電動，我妹查偶像資料、跟同學聊天、付費下載 MP3，大概就是如此。
以需求來論，究竟要買品牌電腦？還是自己組裝？
家裡的電腦，除了國中時候老媽買給我的 386 是跟廠商買的，一直用到高中畢業，大學之後，就組了一台電腦給家裡用，由於我是在台北念大學，回台南又幾乎是每年過年回去一次，所以我通常是用過年的時間在幫忙整理電腦，包括灰塵的清理、系統軟體的維護更新、垃圾軟體的移除、病毒的檢查，前年這台電腦主機板終於壞了，我還跟我弟跑去台南的北門商圈去找二手的板子，硬是先恢復原狀，不過這麼久的電腦了(從我大二還是大三到現在了)，老弟一直在喊著要重新組一台，我不是不想，不過沒什麼時間，也覺得沒必要組太好的電腦，更擔心沒待在台南的我，一天到晚要面臨自己組的電腦出問題，會有人打電話來問怎麼辦，不能現場處理總是很困擾。
今年年初的時候，丈人家裡以前用來生財的電腦，自從退休搬回家裡就一直有問題，我換過板子，但丈人還是一直覺得要上網看股票很慢，考慮過幫忙組一台嘛，又怕出問題的時候沒辦法立刻去重灌什麼的很不好意思，在衡量了許多面向之後，最後我買了一台 Asus Nova Lite PX20 給他們。
再者，華碩提供了三年到府收送，算是對於一般的家庭用戶來說，很貼心的服務，這樣我就不必擔心，電腦有問題的時候得馬上去處理，而是可以請華碩來收，修好之後再送回來，這個部份我算是買來圖個安心！
另外是規格部份，個人認為在不玩任何遊戲的情況下是絕對夠用了，加上精巧的體積，具設計感的外型，這點可是自行組裝都不容易達成的部份，這樣的 Case 在一般組裝市場上不常見，價格其實也不便宜。這台的電源開關是觸碰式的，音效部份因為內建的喇叭還不錯，所以聽音樂也不賴，最要緊的是安靜，從按下電源開關到最後 Windows XP 開機音效出現，這中間真的幾乎聽不見聲音！
- Intel_Dothan處理器
- 2公升，1.5KG超迷你
- 1G/160G/DVD燒錄
- 微軟XPHome作業系統
- 三年華碩皇家保固；到府收送
送這台給丈人，到目前為止都蠻令人滿意的！
也許有人會說，以同樣的價格，可以組一台規格及效能更好的主機，我同意，但我是先從使用者需求來探討，什麼是夠用的電腦，還有像是輕巧及方便性，就必須考慮到散熱的問題，這點如果要自行組裝，Case 的花費不低，更重要的一點，大家都會忽略 OS 的價格，所以自行組裝看起來好像比較便宜，實際上卻不見得如此。
- 搭載Ati_4570_512M獨顯
- 內建1G(最高至4G)/160g
- DVD光雕燒錄
- 無線網路/eSATA
- 微軟XPHOME作業系統
總結
我還是會自己組裝自己要用的電腦，那是在追求 DIY 的樂趣，去年組的 HTPC，我花比較多的錢去選擇好一點的 Case 跟 Power，所以自己組的以總金額來看不見得會便宜多少，但是規格上當然是比較好！用起來嘛！就只是為了一個「爽」！因為這是我自己組的！
個人覺得，家用電腦市場已經是利潤微薄了，目前來說，大致可以區分成兩個領域，一個是一般上網文書用，一個是影音多媒體播放，花時間自己組裝固然可以帶來一些成就感，但隨著年紀的增長，這樣的成就感就沒什麼太令人興奮之處了，相對所花費的精神就多了不少，比方說比價啦，挑選規格啦，找硬體規格評價啦等等，我想為了省一點時間多花一點錢，所帶來的方便以及三年內的無個人責任，這樣的選項是比較符合現時所需。
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！