TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
我一直在找一個讓老婆簡單寫 Blog 的方法，一開始試過 Zoundry Blog Writer，但介面上沒有那麼容易讓一般人入手，後來真的試了 Windows Live Writer 後，才發現微軟還真的寫了一個不錯用的工具，一直不試 Windows Live Writer 的原因，算是我對微軟的偏見吧！
與其說是偏見，我想微軟是寫不好穩定性極高的大軟體，但是在使用者介面上，早已取得了全面性的勝利，多數使用者早已習慣了由微軟所設計的軟體介面。
換個角度看，自由軟體界很多好用的軟體，其介面及使用習慣仍得朝微軟看齊，或亦須考慮與市佔率最高的軟體在標準上的「相容」，僅管微軟是一個很愛自訂標準的廠商。
這樣寫有點偏頗，畢竟 Mac 的軟體有著更多人性化的設計，甚至毋須看任何使用說明，就可以輕鬆上手的 Mac 軟體，很具親和力，但我想問題在於市佔率吧！當一般人使用的環境都是在 Windows 作業系統之下，跟別人推薦的軟體自然就會以 Windows 作業系統底下的為主，人都是很容易依習慣來選擇的吧，長此以往，微軟的霸主地位在一般電腦用戶的領域，仍是具有相當的強勢主導地位，像 NetBook 從一開始的 Linux 作業系統，慢慢又走回 Windows 作業系統的情況來看，約略可以窺之一二。
我本來都是直接用 Blogger 的後台編輯介面在寫，因為我還可以自己打 html code，用起來還算可以，不過在找到 Windows Live Writer 給老婆使用之後，很明顯地提高了她撰寫 Blog 文章的興趣，文章的產量提高不少，我也開始用了，對我來說，當我需要同時經營許多部落格的情形之下，這套軟體可以提供我很方便的修改，最重要的是能夠提供版型預覽的參考，這個功能真的算貼心了！
簡單介紹一下設定部落格的步驟：(以 Blogger 為例)
#1 選擇您要使用的部落格服務－”其他的部落格服務”
#2 填寫部落格網址，以及登入的使用者名稱、密碼，如果是您個人使用的電腦，可以勾選”記住我的密碼”，以後比較方便
#3 Windows Live Writer 會幫你分析部落格以及製作出符合你部落格的 CSS 版型成為你輸入部落格文章的介面
#4 接下來寫文章就像在用 Word 一樣了！輕鬆寫意啊！
#5 在”工具”—> ”選項”—> ”喜好設定”裡，我會改的幾項設定：
- 取消勾選發佈後檢視內容
- 勾選發佈前提醒我指定標題
- 勾選發佈前提醒我新增類別
暫時寫到這裡，好用軟體不用多介紹，你用了就知道！
可惜沒有給MAC的用
回覆刪除Try ECTO: http://illuminex.com/ecto/
回覆刪除has a 21-day free trial mode.