TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
聖誕義賣 愛心市集
所得全數捐出幫助遠地就醫兒童
聖誕鈴聲響叮噹，在這個充滿禮物、派對的日子，更重要的節慶意義，是分享與感恩！在台灣，有許多孩子因為生重病必須在醫院渡過聖誕，雖然沒有派對和大餐，但我們卻可以給他們滿滿的愛與祝福。
適逢溫馨聖誕，麥當勞兒童慈善基金會將發起「聖誕義賣 愛心市集」活動，邀請您和我們一起化身為聖誕老公公，您可透過捐贈物品、或購買義賣品方式，一起幫助遠地就醫兒童和家庭，用愛讓他們更靠近希望；募集之物品，將作為病童聖誕禮物，以及「聖誕義賣 愛心市集」活動之義賣商品，義賣活動所得將作為基金會兒童醫療服務經費。
捐贈義賣商品
- 將家中【全新】或【二手】物品捐贈給『麥當勞兒童慈善基金會』進行義賣。
- 捐贈品項歡迎：
兒童文具/圖書/玩具、精美藝品/皮包、飾品/潮T、生活用品、具實用性、有收藏價值之物品為佳 (請勿捐贈絨毛玩具、破損、18禁商品。) - 捐贈方式：
．即日起~12/19至麥當勞【內湖區】餐廳捐贈
．12/20前直接寄至麥當勞兒童慈善基金會(台北市內湖區文德路108號)
- 活動時間：12/25(六) AM10:00~PM17:0
- 活動地點：內湖日湖百貨
(原德安生活百貨，台北市內湖區成功路四段180號，文湖線捷運內湖站1號出口) - 活動內容：
．新品/二手商品義賣
．明星商品(藝人周杰倫、王力宏、S.H.E.、倪安東、郭采潔等捐贈物品)
．魔術氣球秀
．音樂饗宴
．親子才藝教室
．神秘嘉賓(東森幼幼台香蕉哥哥等明星演出)
若不克前往活動現場，歡迎您仍可至麥當勞餐廳捐贈發票或零錢，一起關懷遠地就醫兒童。
想要了解活動詳情或更多捐款方式，請上麥當勞兒童慈善基金會官網http://www.rmhc.org.tw/或來電02-26581300
關於麥當勞叔叔兒童之家
在台灣，每6分鐘就有一個孩子必須離開家園，踏上遠地就醫之路。
麥當勞兒童慈善基金會於2007年於內湖成立台灣首座麥當勞叔叔兒童之家，提供遠地就醫重症兒童免費住宿關懷服務，希望減輕家庭沉重的經濟負擔，並可以舒緩就醫的壓力。
麥當勞叔叔兒童之家每年幫助超過6,500個病童家庭，申請入住的家庭八成主要來自於台中以南及離島偏遠地區的孩子，主要罹患的疾病為癌症、先天性心臟病及罕見疾病。
※※※※※※※※※※※※※※※
勸募字號：內授中社字第0990703334號 麥當勞兒童慈善基金會保有物品篩選、轉送之權利。
主辦單位：麥當勞兒童慈善基金會 協辦單位：麥當勞餐廳、日湖生活百貨
感謝南強工商、CKids American Preschool、卡琳應用英語、機動現場樂團、梅苓全人音樂熱情響應
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！