TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
103年9月份保戶王小姐行車不慎與機車發生車禍事故。新光產物保險理賠員當日下午收到客戶的出險通知即與客戶聯絡，即時了解車禍情形、雙方損傷狀況及後續應配合事項。 客戶是第一次發生車禍，情緒很緊張，也很擔心後續賠償金額及法律責任。新光產險理賠員安撫客戶情緒，解說車禍處理流程，先說明新光產物保險公司會與對方聯絡，了解對造情形，再來會至警方申請事故相關資料以釐清雙方肇事責任。此外車禍處理仍需客戶的協助，諸如提供事故資料及關心對方，皆有利後續雙方調解，在賠案處理期間有問題隨時可與我聯絡。 接著新光產險理賠員再與對方聯絡，了解對方之傷勢狀況及機車受損情形，同時留下理賠員聯絡電話。 自車禍發生至和解完畢期間，只要對方有新資料提供給本公司或詢問任何求償問題，新光產險理賠員皆會回報客戶，讓客戶同步掌握車禍處理進度。 客戶關切警方肇事責任如何認定或賠償金額如何算，理賠員皆會主動說明，從而獲得客戶之信任。 理賠員自覺客戶投保新光產物保險，為的就是對於未來不確定的事故有份保障，客戶能感受保險有效保障，最主要還是使客戶對於車禍資訊有完整了解，讓客戶在面對對方之求償金額或是接收到錯誤資訊時，不會感覺疑慮和擔心。 新光產險理賠員發揮專業能力適時化解雙方疑慮，調解時也陪同協助，加上和解前置作業安排妥當，與對方評估合理求償金額相近，本起車禍當事人才能順利和解，讓一起令人煩擾不快之車禍案件獲得合理且迅速的處理。客戶王小姐感受新光產險理賠員之服務並肯定理賠之用心和努力，致電公司0800讚許。