TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
上個禮拜從台北火車站走到中正紀念堂站，拍了孔子和林森先生的銅像後，我突然想起現在應該還是全台銅像數量最多的蔣中正。民進黨執政的最後幾年，大動作的去蔣運動，那時我開始注意到了蔣友柏，很欣賞他的言行思想！發生在台灣的歷史，無論後世如何評價，我覺得其存在仍具有其意義，方能完整台灣歷史的軌跡。
無論蔣廟牌樓全然是帝王級規格，這不亦彰顯了當時封建威權的時代背景，自古以來，歷史往往是政治力決定一切，成王敗寇，但試想，若非如此，何來萬里長城、紫禁城、金字塔的規模宏舉，代表封建思想又如何，我想，新的時代自然會重新賦予其意義。不斷的毀棄過去，所代表的只是消極的剔除立場不同的歷史事件，去中國化的同時，這個動作卻再中國不過！
中華民國政府「轉進」台灣後所實施的徹底政治教育，推倒了日本統治時期的銅像而改立林森銅像，並把中國幾千年文化的道統，歸於蔣將軍一身，並把台灣美化成為「文化復興、反共救國的基地」，這是為什麼要設立這麼多銅像在校園裡的時代背景。
這一切，其實只要客觀的陳述，民主社會自有公評，自有選擇，這是人民的進步，當我們不再被政治人物操弄控制，台灣才真正具有卓然於華人世界的價值。
台灣需要的是凝聚共同的文化記憶，才能讓政治人物不再操弄無謂的激情，客觀的面對所有政治人物的言行，我們需要的是多元的史觀，這是民主社會所應該存在的相互尊重，除了我們所立足的現代，當然也包括我們的祖先所身處的時代。唯有我們學會珍視過去，懂得欣賞其背後真正的意義，以史觀今，即使不堪回首，卻將成為我們進步的借鏡。
我們要反對的，是任何不尊重他人的強烈排他者，如博愛國小的事件，對於孩子即是重要的品德教育，孩子們的言行，反映著父母的教養，無論司法判決如何，我們更應該學會的是尊重人權。
歷史從來沒有二分法，不要再受政治人物的操弄，幫自己歸類。政治人物們，麻煩看看我們的孩子，看看我們的教育，品德教育，不是把錢撒了，撒太多再刪預算這麼簡單而已，從你們的所做所為開始，為孩子們示範良好的品德吧！至於預算，就為貧富差距已達 62 倍的台灣，做一些長遠而大多數人民都會快樂的改變吧！
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！