跳到主要內容

發表文章

目前顯示的是 5月 16, 2010的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

定焦本格派.兼談定焦鏡焦段的建構

就在下拍攝習慣的養成過程,定焦鏡扮演了重要的角色。藉由定焦定視角的訓練,我可以快速的決定某個場景我想使用的焦段,這在使用變焦鏡的時候,也往往能夠更快速的定位,判斷焦長是否能夠容納拍攝場景。 在二個系統的定焦鏡焦段漸漸齊全之後,我想來寫一下我挑選定焦鏡的看法,您也可以先參考我之前寫的:「 是誰告訴你一定要買定焦? 」。底下這一篇,我想從幾個較容易入手的焦段談起,再來談一些目前尚未入手的焦段。 在此之前,這篇我仍是先以 35mm 的規格來談,另外,我必須說,事實上擁有 APS-C 規格的 DSLR 也並不是一件壞事,在許多勸敗專家勸進 35mm 全幅 DSLR 的現在,有時候我會覺得,同一顆鏡頭在底片機和 APS-C DSLR 有不同的視角,感覺上就像是擁有兩顆不同的定焦鏡,在起步時預算不足或是不想收那麼多顆的考量之下,也是有蠻高 C/P 值的。參考文章: 何謂標準鏡? 、 何謂人像鏡?

[Blogger] 搞得跟 Facebook 很像的版型

使用的版型: http://www.wp2b.com/2009/04/smells-like-facebook.html 同樣也是一個從 WordPress 轉換至 Blogger 的版型,長得跟 Facebook 很像,你可以至上述的連結下載及查看 Demo。 也可以看我弄出來的範例: 器材控 。 我改了幾個地方: 原本文章上方的 Menu 用的是 Linklist,我改用 PageList,這樣新增靜態頁面的時候那裡就會出現,省得一個一個加連結。 原來的版型沒有繼續閱讀 (JumpLink),也順手加上去了。 另外加了讚的按鈕,會更像 FB 一點。 另外還有一個東西可以改,我覺得如果用在共筆部落格還蠻不錯的,因為文章旁邊會顯示頭像,用的是 Gravatar 的圖,可以在圖像那裡加一個判斷: <b:if cond='data:post.author == &quot; AUTHOR1Name &quot;'> 然後再加上要顯示的頭像,也可以再加上每個作者的 Profile 或個人網站連結,這樣也不賴。

[Blogger] {拍寫} 改版型

我的另外一個格:{ 拍寫 },主題是「一張圖片,一個故事」,這是我今年的新嘗試。 最近找到一個從 WordPress 轉到 Blogger 的版型,覺得還蠻不錯的,就抓下來套用了。 雖然我最近也把 ZOG 一些拖慢速度的東西給拿掉了,整體的感覺快了不少,不過如果你還是討厭雜七雜八的東西,只想看圖跟文的話,{ 拍寫 }那裡會是一個好選擇。 嚴格說來,{ 拍寫 } 比較像是我的圖文自選集,目前大概只有五十篇,不定期會張貼,不過 { 拍寫 } 那裡的文章 ZOG 這裡應該都會有。 使用的版型: http://www.wordpresstoblogger.com/2009/01/revolution-black-canvas.html 這個網站還有很多從 WordPress 轉換成 Blogger 可用的版型可以下載套用哦。

防潮箱到貨,順便做裝備檢查

最近在找防潮箱 ,訂好貨之後很快就送到了,利用今天下午把兩個防潮箱的東西重新配置一下,因為空間變成兩倍大,所以器材終於可以分門別類放了,目前暫時還擺得蠻空的。 空間變大以後或許是另一個危機的開始,因為我暫時不用擔心防潮箱放不下的問題了,哈哈,會不會又開始肆無忌憚地亂收咧?