TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
(Ricoh KR-10 Super，Ricoh Rikenon 50mm f2，Fujifilm X-tra 400)
兩個月前吧，我媽突然打給我，要我記得去找玄天上帝拜拜，說是小時候她帶我拜做祂的乾兒子，最近想起來好像一直都沒有跟我說。
當知道這層特別的關係之後，我去找祂，帶了相機，心裡跟祂說了一些話，然後拍了這張照片，好像有一種親切感，很莫名，但心安。
[摘錄] 上帝公的故事》
屠夫殺了很多大大小小的豬。有一天，當他該殺的豬差不多都殺完了的時候，有一個和尚從他那裡走過，不小心踏死了一隻螞蟻。和尚很難過地流下眼淚，哭著說：「我一生吃素，吃得那麼清淨，眼看就要得道了，現在卻殺了生！我沒辦法得道了！」這個殺豬的說：「唉！和尚不小心踏死螞蟻，已經無法得道；我殺了那麼多豬，罪孽不知道有多重呢！」他從此不再殺生，出外去修行了。
他走到洛陽江邊，突然天上傳來一陣喊聲：「你的身體不清淨，腸肚骯髒到這種程度，是不可能得道的！」他就在那個時候，在洛陽江邊剖腹，把那些腸肚都丟入江底，然後走到一個大斷崖邊上，縱身跳下崖去。觀世音菩薩將他救了起來。
他繼續一直走一直走，走到一個沒有人住的庄頭。觀世音菩薩又化身為一個老婆婆，在那裡生孩子。她叫住那個殺豬的人，說：「這些污穢的衣褲，你幫我拿去洗一洗！」他說：「我不方便摸妳的衣物，只能伸一枝竹竿進去，請妳把衣服夾在竹竿尾上，我拿著竹竿頭去幫妳洗衣服。」她把衣服夾在竹竿尾上。他去到溪邊，手拿竹竿頭，把竿尾的衣服放到水裡去甩了一甩。沒想到當他再拿起竹竿時，竿尾的衣服竟然變成一枝黑色的令旗，上面寫著「玄天上帝」四個字。這是他的令旗。他就在那個時候得道，上了天庭，名列仙班。
他的腸肚在洛陽江裡，經過幾百年以後，變成了龜妖和蛇怪，在江中作惡。可是他自己卻不知道。眾仙會的時候，許多神仙對他說：「玄天上帝，你的腸肚在洛陽江作怪，你要自己下去收服。」他要下去收妖，可是孤單一個人，身邊又沒有什麼寶貝，所以就去向呂洞賓借了一枝七星劍，最後治服了妖怪，並且一腳踏住龜妖，一腳踏住蛇怪。被他踏住的龜和蛇，後來成為他的腳力。
留言
張貼留言
回應不用錢，請多多益善！懶得寫字按個讚也是相當感謝！