TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
「三環三線」恐跳票 民眾抗議
臺灣新浪網 - 4小時之前
新北市長朱立倫捷運「三環三線」的競選支票，會不會跳票呢?23日下午，朱立倫到議會施政報告時，藍綠議員都要他兌現承諾，議場外，更是聚集2百多位陳情抗議的民眾，抗議新莊縣延宕到105年才會通車，怒喊「三環三線沒實現，朱立倫就下台」。捷運汐止民生線，傳出遭到退案， ...
新北市議會開議 議員關切「三環三線」
NOWnews - 6小時之前
新北市議會正式開議，市長朱立倫進行施政報告。(記者黃村杉攝) 新北市議會23日正式開議，市長朱立倫下午進行施政報告，市長競選政見「三環三線一定實現」的支票，因日前汐止民生線遭到退件及捷運新莊線因樂生爭議延宕，傳出通車日期將延至105年6月，引發跳票質疑。 ...
北捷新莊線通車延後 居民怒抗議
蘋果日報 - 7小時之前
台北市捷運局上月指捷運新莊線全線通車要延到2016年，引發新莊地區里民強烈反彈，今天下午多名議員帶約200名民眾，到新北市議會拉白布條向市長朱立倫抗議，痛批新莊線通車一再延宕，已讓居民忍無可忍。議員指出，新莊捷運通車日期原本打包票說能在2014年完工，現在又延 ...
朱立倫施政報告主打交通建設
自由時報 - 8小時之前
〔中央社〕新北市議會今天開議，市長朱立倫首次施政報告就遇綠營場外抗議、場內質疑交通政策夾擊。朱立倫表示，希望捷運新莊線明年先通到輔仁大學站，汐止線仍協調中。 台北縣改制新北市後，新北市議會第1屆第1次定期大會今天開議，場外有民進黨籍市議員沈發惠率眾抗議捷 ...
北市捷運東環段成型東湖、研究院成通勤族購屋好去處
NOWnews - 2011年2月22日
捷運南港展覽館站東延段的設計，富含時尚與科技感。 已經進行履勘作業的南港線東延段，預期不久後即可通車，雖然只是從南港站到南港展覽館的一小段，但卻是串聯起捷運文湖線與南港線的重要一站，預估通車後一天可以省下20~30分鐘的通勤時間，對在台北市信義區、東區的上班 ...
捷運局：新莊線可望明年通至輔大站
中時電子報 - 16小時之前
捷運新莊線延宕多年，三重、新莊民眾忍受交通黑暗期長達十餘年，市議員陳文治廿三日結合地方議員、里長及民眾二百多人到市議會，向朱立倫當面陳情；台北捷運局表示，可望於明年中，先局部通車至輔大站。 陳文治指出，捷運新莊線自民國九十年就已動工，日前台北市捷運局又 ...
MORE ON: Google News
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！