TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
三十五歲來到宜蘭到現在四十歲,異鄉遊子的心情越來越強烈,人生,似乎在找一個方向感。
當年家族賣掉仁德的工廠,售出前後我跑了好幾次去看,也在最後一次大家族在工廠過年觀賞家族舊照後,幫大家拍了當時的照片,其實我是非常落寞的。
工廠是我從一歲到七歲的記憶,是造就我在極端吵雜環境也能輕易睡著體質的地方,對於這裡,我有著濃厚深刻的情感。不管是小時候我拉著弟弟踩到燒完的木屑害他燒傷,後面原本眝木的池塘是週末的魚塭釣場,工廠的鹽地讓我們家椰子汁特別好喝,年節炕窯煮澎糖的歡聚一堂,幼稚園時坐娃娃車回到工廠的滿車吐出來的豆花,那裡是我的根,我真正的故鄉。
我來宜蘭的這些年,終於圓了大學念教育系而進入學校有機會成為人師的自我圖像,因為參與實驗教育,在教材中思索如何幫助學生尋根並找到自我的歷程裡,我也常常遺憾的回頭看著這個失根的自己。
我一直以為時間還很長,我還有機會可以訪談家中的長輩做口述紀錄,而上週姑婆過世的消息,細數這些年過往的長輩,驚覺自己數年來的荒廢不積極,意識到我作為協成木業的子弟,因為少了延續,少了連結,而致使自己的生命得不到踏實的方向感。
曾經,我想要撰寫協成的歷史,找到家族的根源文化,卻因為種種必須顧生活的現實,乃至今日已接近再不紀錄終將忘失,就像台灣的文化,斷裂無根,甚或年輕我輩都已遺忘。
祖厝現改建為顏氏宗祠,我更期望這裡能置入更多的歷史感,屬於我們顏氏宗親的木材事業是如何創立,家族的長輩們是如何為這個共同的事業努力,大家族是怎麼一起生活,我認為,這是我這一代,必須要完成的使命,這樣的文化紀錄為我們的家族帶來共同的感恩和情感,也將是家族的晚輩們美好的傳承與圖像。
今年八月我離開學校又回到台北工作,也思考著離開宜蘭回故鄉,重新成為台南人來書寫紀錄我們協成和五條港、與台南、台灣的連結,我美好的夢想中,因為連結文化而產生的生命感與價值,期待有機會成為屬於我們家族的共同事業,繼承協成精神的新企業。
留言
張貼留言
回應不用錢,請多多益善!懶得寫字按個讚也是相當感謝!