TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
作者 : ZENG (zeng.bailan.club)
標題 : 忠治出隊之記(三)
時間 : Mon Dec 6 10:57:47 1999
這次的出隊裡,家訪是非常重要的一環,關係著未來新巴洞可以對忠治有
更多基本的印象。
趁著大家都去家訪,我和小智,一路走上小智山上的家,才知道忠治村七
鄰已經不見了,這裡改成別的名字,我們的資料似乎不怎麼新,走著走著
終於見不著路燈,經過幾棟豪宅,小智說裡面住的是漢人。
小智山上的家,是他和爺爺兩個人用木頭搭起來的,沒有電;山上養著抓
來的野豬,幾隻雞鴨和抓野豬的狗;幾公尺外,遠遠就聽到小智愛犬的吠
聲,小智提起這條狗超狠的,連主人都咬,掀起領子讓我看被咬的傷口,
“他抓野豬就這樣咬的,還好後來用手給他咬,脖子才沒被咬斷”小智繪
聲繪影的說,我開始想走下山。養在豬圈裡的野豬,公母各一,養他們並
不是為了繁殖他們,而是要等他們大一點了,用他們來跟小狗打架,讓小
狗練習怎麼抓野豬。屋子裡,爺爺被我們吵醒,正好可以跟他打個招呼,
點了蠟蠋給我們找茶水喝;小智的房間裡,很多工藝的作品,順手拿了一
個筆袋給我,好開心。
抄捷徑回山下,差點用滾的下山,相當陡。
一路上,談起他對我們這支隊感覺,似乎和以前來過的隊都不太一樣,以
前來過的隊,晚上是不排任何活動的,就只是像家訪一樣,整個晚上陪青
少聊天,陪小朋友玩遊戲,認識社區的人,我們還要開會、推流程,很麻
煩。
未完...
--
※ Origin: YKLM大學
◆ From: 140.119.191.100
標題 : 忠治出隊之記(三)
時間 : Mon Dec 6 10:57:47 1999
這次的出隊裡,家訪是非常重要的一環,關係著未來新巴洞可以對忠治有
更多基本的印象。
趁著大家都去家訪,我和小智,一路走上小智山上的家,才知道忠治村七
鄰已經不見了,這裡改成別的名字,我們的資料似乎不怎麼新,走著走著
終於見不著路燈,經過幾棟豪宅,小智說裡面住的是漢人。
小智山上的家,是他和爺爺兩個人用木頭搭起來的,沒有電;山上養著抓
來的野豬,幾隻雞鴨和抓野豬的狗;幾公尺外,遠遠就聽到小智愛犬的吠
聲,小智提起這條狗超狠的,連主人都咬,掀起領子讓我看被咬的傷口,
“他抓野豬就這樣咬的,還好後來用手給他咬,脖子才沒被咬斷”小智繪
聲繪影的說,我開始想走下山。養在豬圈裡的野豬,公母各一,養他們並
不是為了繁殖他們,而是要等他們大一點了,用他們來跟小狗打架,讓小
狗練習怎麼抓野豬。屋子裡,爺爺被我們吵醒,正好可以跟他打個招呼,
點了蠟蠋給我們找茶水喝;小智的房間裡,很多工藝的作品,順手拿了一
個筆袋給我,好開心。
抄捷徑回山下,差點用滾的下山,相當陡。
一路上,談起他對我們這支隊感覺,似乎和以前來過的隊都不太一樣,以
前來過的隊,晚上是不排任何活動的,就只是像家訪一樣,整個晚上陪青
少聊天,陪小朋友玩遊戲,認識社區的人,我們還要開會、推流程,很麻
煩。
未完...
--
※ Origin: YKLM大學
◆ From: 140.119.191.100
留言
張貼留言
回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!