TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
其實本來是想先去拜師學一下比較妥當的,但一股衝動還是硬上了。在實際上陣之前,包括買藥水跟如何沖掃,都很感謝網路上認識的每一位前輩,讓我這個完全新手能有初步著手的概念,幫助很大! 很克難的第一次沖黑白。 一開始調藥水的時候,很像是理化課.... 然後把底片取出來捲進沖片器的時候是工藝課.... 但手藝很差,失敗.. 沖片的時候.. 比較是游泳課吧... 不過沒下水.. 是在水邊玩水的那種感覺... 順手記一下 D76 沖片的過程,第一次玩,很多事情都是不求甚解,還請見諒,並歡迎前輩們指點迷津。 D76 文件: http://www.kodak.com/global/en/professional/support/techPubs/j78/j78.pdf 這捲 Tri-X 400 拍的時候是用 800 拍的,所以沖時必須增感一格,需要加 20% 的時間,我是用 12 分 40 秒。 Tri-X 400 文件: http://www.kodak.com/global/en/professional/support/techPubs/f4017/f4017.pdf 本次的步驟如下:水溫基本上控制在 20 度,有略高 (21-22 度 吧) 前置作業我是先把要用的藥水依前輩給的比例調好,每種藥水 300 cc,變成一罐罐的寶特瓶藥水,定影液跟 Flo 我有把用過的回收回原來的寶特瓶,還可以再用個一到兩次。 一、用抽片器把底片頭勾出來(我勾超久的),然後在暗袋內把底片平順地捲入捲片軸,放入沖片罐中蓋上蓋子,再來一切都可以在光明中進行了。(我已經先用一捲廢底片練了一個晚上,實際上捲的時候還是大失敗,像我捲片的時候沒捲好,好幾張貼很緊的底片吃不到藥水,就沖不出來,這個動作雖然好像很簡單,但必須練習到閉著眼睛也能做得順就是了) 二、浸水 30-60 秒,讓底片毛細孔打開以利吃藥水的動作 三、顯影 12 分 40 秒 搖的方法是第一分鐘持續搖動,約 5 秒 6 下的頻率,後面每 25 秒搖 5 秒 6 下,沒有搖的時間沖片器放回臉盆維持溫度;結束前 10 秒把藥水倒掉,要倒乾淨,然後注入乾淨的水搖晃後再倒出 四、停影 (急制) 倒入急制液,搖動 30-60 秒。急制液很臭,有刺激性,滴到手會刺痛,有傷口更痛。 五、定影 倒入定影液,我是搖 2 分鐘,搖...