TL;DR: 用 Qwen3.5-9B（Q4_K）在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier，每次 code comparison 約 0.5–2 秒，cache hit rate 66%，正確程式碼穩定給 1.0 分，有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘，還有空間跑其他服務。 這篇是實測續篇，前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」，這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux（CachyOS）上跑的： 項目 內容 GPU AMD 16GB（15.9 GiB）via ROCm 模型 Qwen3.5-9B（8.95B 參數，Q4_K ~5.7GB GGUF） 後端 llama.cpp（llama-server，ROCm HIP build） Verifier Docker container（llm-verifier），port 8010 模型 VRAM ~10.2 GB（模型本身 + 動態 KV cache） GPU 使用率 78% 系統 RAM 62 GB；使用 27 GB（swap 用了 9.3 GB） Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上，走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件，讀取 token-level log probability 來算連續分數，不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint： Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
早上 FB 給了個訊息，給現在有使用臉書自動匯入 RSS 至臉書網誌的使用者，提到 11/22 起將不再提供這個功能，建議您最佳的方式是將網誌文章的網址貼到動態時報 (Timeline) 上，想在 FB 寫網誌的話自己費點心寫吧！
其實還有蠻多工具可以幫忙您將 Blogging 的文章貼到塗鴉牆 (Wall) 或動態時報 (Timeline) 上的，我自己是使用 NetworkedBlogs 來自動將 RSS 的內容貼到弱格專頁的牆上，Ping.fm 也可以將 RSS 貼過來，帳號申請很久了，最近才開始在用。
對 Facebook 來說，停用這項功能後，至少就不用再匯入其他網站文章的內容佔儲存空間。
社群的文章還是有社群的寫法吧，言簡易賅有吸引力的引言加上網址的連結，有興趣的讀者選擇點擊，再把流量導回原來完整的文章內容，這應該也都還算是大部份人習慣的方式。
感謝您的資訊提供，雖然NetworkedBlogs的註冊上是沒問題，但是Ping.fm似乎有些障礙..（與言的關係..@@"）
回覆刪除另外想請教一個問題：NetworkedBlogs的操作是讓blogger的文章與自己的Facebook網誌同步更新嗎？
舉例說：假設我在blogger更新文章，RSS收錄進去後，呈現在Facebook的方式是怎樣的，是"自動"貼在時間軸上？還是"自動"貼到網誌裡？
以上問題再麻煩您解惑了！感謝囉！
TTQS+行銷企劃=克里斯
Re: 謝峻少 <7870341036678202220>
回覆刪除自動貼在時間軸。
請問我FB之前已經匯入無名的網誌
回覆刪除現在無名要停掉了
FB上面已匯入的網誌會消失嗎?
還是已經複製一份在FB了?
謝謝
已經匯入的應該不會消失。
回覆刪除