跳到主要內容

發表文章

目前顯示的是 12月 2, 2012的文章

16GB ROCm 本地 LLM-as-a-Verifier 實測數據:Qwen3.5-9B 跑起來到底多快

TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...

買賣房屋時不可遺漏的必讀資料

買賣房屋時不可遺漏的必讀資料 消費者在買賣房屋時,不管是透過 房屋仲介 買房,或是直接向親朋好友購屋,了解買賣標的物的詳細資料是非常必要的。但您可知道,在閱讀一本不動產說明書時,有哪些是買賣房屋時不可遺漏的必讀資料,以下列舉重要項目說明: 不可不看 1-登記簿謄本 許多人誤以為有了土地或建物所有權狀就是對不動產有了確保,事實上不動產的實際現況,是要以地政機關所記載的登記簿為憑。登記簿是地政機關記載土地、建物權利狀態的法定簿冊,可分為「土地登記簿」、「建築改良物登記簿」。在登記簿中可詳細看到:土地及建物座落、面積、門牌、權利範圍、有無限制登記、停車位產權狀況等。 不可不看 2-地籍圖 地籍圖顯示了建物所在的土地形狀、大小、座落、界址、面積、都市計畫道路狀況等,要特別留意的是房子有沒有可能建在道路用地上或是公共設施用地上,這可是攸關屋主權益的大事。 不可不看 3-建物平面圖建物位置圖 建物測量成果圖標示了建物座落的基地號、建物面積、附屬建物面積、總樓層數及其所在樓層、測量後之建物各邊界尺寸等。屋主可了解實際建物面積大小,以及附屬建物像是陽台、雨遮等面積,及清楚知道擁有的實際房屋室內坪數。 不可不看 4-土地及建物目前現況管理與使用情形 目前土地和建物的管理使用,要注意的是有無分管協議,像是大樓的管理委員會所召開的住戶大會的各項決議事項、會議記錄等。 不可不看 5-土地使用分區證明 土地使用分區會影響將來開發的可能性,例如屋主想申請營業登記等,就必須弄清楚土地使用分區現況。 不可不看 6-是否有其他建物瑕疵情形 建物本身是否有滲漏水、是否增建、或是地震後有無龜裂等情況。 不可不看 7-交易價金、付款方式 詳列價格和付款方式是為了避免金錢爭議,更是為了讓價格透明化。 不可不看 8-應納稅額、規費項目之負擔方式 同樣是讓交易合理透明,將每項應繳納的稅額和規費記載在說明書上,買賣雙方都可清楚看出互相應負擔的部分,日後不會有不必要的爭議。 不可不看 9-其他特殊約定事項 此部分是買賣雙方互相約定的其他交易條件,例如賣方希望買方配合辦理土地增值稅減半的優惠,而買方亦會希望賣方配合辦理政府優惠貸款等。 以上由永慶房仲網提供: http://www.yungching.com.tw