TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
年初二去了一趟位在台南市安南區的台灣歷史博物館，去年十月正式開館，到今年十月二十八日以前，基於教育推廣採免費取券入館制，可憑參觀券參觀本館展示教育大樓，館內並設有導覽。
台灣歷史博物館的所在地『台江內海』從十七世紀以前就吸引東西方人陸續前來貿易，直到清領時期才因河流沖積改道而變成陸地。
園區地圖：(截圖自摺頁電子檔)
博物館加上博物館以外的台灣歷史公園，整個園區佔地蠻廣的，達 20 公頃，去的那天天氣超好的，排隊領票的人也不少，領票完先在外面的公園走走。
館前的水池象徵著先民渡海來台的意象。
水池的上方是太陽能光電板牆，可以從這裡走階梯上去光電板牆後方的步道，可以連接到博物館二樓外面。
由鋼骨形成的幾何感很有意思。
沿著有情湖走到園區的另一側，有一個很不起眼的小山丘，叫做希望之丘，因為安南區地勢低窪，海拔 22 公尺的希望之丘，有著「安南第一高峰」的美稱。站在希望之丘上不但能將園區美景盡收眼底，還可以遠眺臺南科技園區、中山高速公路等景觀。
經過希望之丘，再往前一點會到快樂萬花筒，裡面有一個台灣造型的沙坑，Angel 在這裡玩了至少半個小時吧。
底下是入場參觀時拍的。
拍照器材：Olympus OM-2 + OM 50mm f1.4 + Fujifilm X-tra 400、Samsung Galaxy SII
館區停車滿了或者您不介意走一段路的話，停車不一定要停在館區的停車場，可以停在環館路那邊。
地址：台南市安南區長和路一段250號
網址：國立臺灣歷史博物館
檢視較大的地圖
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！