TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
兩年前的作品。在朋友的幫忙下,高中以後就未曾再拿過電烙鐵的我,繼「砲兵 ipod dock」之後,做了生平第一台 CD 播放器,我稱之為「KTZ CD Player」,名稱是從我的兩位朋友再加上我的代表字母所組成,完成度可以說是相當的低,純粹只是好玩而已,裡頭的線都沒用心整。
這個盒子是郭元益的拉法頌系列禮餅,因緣際會拿到的,本來是想用來裝東西。
盒子是紙製的,完全土法將盒子前方挖出一個電腦光碟機(有面板播放)的洞,挖的過程中順手留下兩條裝飾用的貼皮,貼在光碟機上;並在中央的位置塞了一顆旋鈕,裡頭是旋轉式的可變電阻(爛的,不是買級進式的高檔貨)。
開箱來看看,裡頭有擴大機的電路、喇叭保護的電路、變壓器供電再升壓的電路以及一台光碟機。
看這張圖,線亂走,完全只想說可以用就好~
擴大機的電路和喇叭保護的電路我是買 DIY Zone 賣的現成套件來焊的,變壓器那個部份是朋友友情支援完成的,一堆有的沒有的小東西是在中華商場附近買的。光碟機後頭的電源是買 IDE 轉 USB 的硬碟轉換盒的東西,直接拿來用,所以後頭有兩個開關,一個是整個擴大電路的,一個是光碟機的。
原本做好之後在家裡聽,但自己又弄了 HTPC 擺在客廳後,只能收著生灰塵,剛巧去年底搬辦公室,有比較多的空間,所以在 Y拍 弄了一組 MS audio 喇叭,還蠻漂亮的,聲音也很不賴,然後就搬到辦公室裡來了。
這是後頭的喇叭線
我不是耳朵太好的人,所以我還沒迷到去調整迴授電容、換高檔電容電阻、換線材等等的程度,做這個東西最大的目的,只是為了補補基礎電學,不過跟著玩家朋友學習的時候,會覺得這個世界真是太銷魂了,是敗家的深淵!
整台機器裡最關鍵的擴大電路是 TDA7294,小小一片,我是覺得低音不夠漂亮,不過是可以上到100W,很有力。我還留著一片,等著以後買高檔的電容電阻再做另一套吧!
分享一下當初很常逛的幾個網站:
http://eddie.dyec.com.tw/
http://www.andaudio.com/phpbb3/
http://tubefan.com.tw/shop/
http://bbs.audiohall.net/
或者 Google 一下:「DIY音響」就一堆專業的資料可以參考,其實還蠻有趣的。
如果可以的話,我是還想買一個電源淨化的轉接器!
不夠詳細ㄟ
回覆刪除我超想學的
OK,我會努力回想一下~請期待厚~
回覆刪除我覺得這篇介紹的書不錯。
回覆刪除http://chat.ericoffice.idv.tw/modules/news/article.php?storyid=23
可以參考。
懷念啊!! DZ的7294及喇叭延遲我也做了一組,還有半成品的真空管後級一直沒完成。
回覆刪除<3 !!!!!
刪除