TL;DR: 用 Qwen3.5-9B(Q4_K)在單張 16GB AMD GPU 上跑本地 LLM-as-a-Verifier,每次 code comparison 約 0.5–2 秒,cache hit rate 66%,正確程式碼穩定給 1.0 分,有 bug 的給 0.0–0.14 分。16GB 跑 9B 模型綽綽有餘,還有空間跑其他服務。 這篇是實測續篇,前兩篇分別講了 架構設計 和 Docker 封裝 。前兩篇講的是「做什麼」跟「怎麼做」,這篇來量「到底多快」。 1. 測試環境 在一台 homelab Linux(CachyOS)上跑的: 項目 內容 GPU AMD 16GB(15.9 GiB)via ROCm 模型 Qwen3.5-9B(8.95B 參數,Q4_K ~5.7GB GGUF) 後端 llama.cpp(llama-server,ROCm HIP build) Verifier Docker container(llm-verifier),port 8010 模型 VRAM ~10.2 GB(模型本身 + 動態 KV cache) GPU 使用率 78% 系統 RAM 62 GB;使用 27 GB(swap 用了 9.3 GB) Context window 131,072 tokens MIN_SCORE 0.8 後端跑在另一台機器上,走 local Gigabit 網路連線。 2. Verifier 在幹嘛 docker-llm-as-a-verifier 包裝了 LLM-as-a-Verifier 這個研究套件,讀取 token-level log probability 來算連續分數,不是簡單的 yes/no 判斷。 Container 開了 7 個 HTTP endpoint: Endpoint Method 用途 /health GET 健康檢查 /v1/compare POST 兩組答案比對評分 /v1/select POST Best-of-N 選最佳 /v1/track POST Agent 軌跡分數追蹤 /v1/directed POST 導...
【睡眠為第一大補:怎麼睡覺最補?】 睡眠為第一大補,告訴你怎麼睡覺最補。傳統中醫養生認為,“葯補不如食補,食補不如睡補。”可見,睡眠為第一大補。俗話說“一夜好睡,精神百倍;徹夜難睡,渾身疲憊。”因此,睡覺質量好壞與人體健康有很大的關係。那麼怎麼睡覺最補呢? 老子講“一陰一陽謂之道”。通俗來講,睡覺是人修養生息、養精蓄銳的過程,是收藏、吸收能量的過程;白天工作、學習則是釋放能量的過程。陰陽各半,缺一不可。 切記:夜裡睡得晚易傷膽,還會患抑鬱症 由於人的細胞100天左右更新一次,故古代養生家講:“睡覺為養生之首,一夜不睡,百日補不回來”。另外,經常夜裡睡得過晚會傷膽氣,嚴重者會患抑鬱症。《皇帝內經》云:“氣以壯膽。”“十一臟腑取決於膽”人體五臟六腑之氣都取決於膽,取決於膽氣的生髮,如果膽氣能夠生髮起來,身體就不會受到影響。23點至凌晨一點是子時,膽京最旺。人在睡眠中蓄養膽氣,不睡覺就會消耗膽氣,嚴重者出現“抑鬱症”做事也會缺乏膽量。 子時不睡,除造成膽汁新陳代謝不利外,還可造成貧血、供血不足。膽虛上不明目,血虛下不養筋,形成目倦神疲、腰膝酸軟之症。肝膽在無形中為青色,子時不睡面色易返青、丑時未睡面色則易鐵青。肺在無形中為白色,寅時末睡面色就易青灰。 起床對了才“補人”:最好“順天時” 凌晨3點是一天的“立春”,6點是一天的“春分”。天地在3點醒了,人體的細胞在這個時空感應下也醒了。在每天3點到5點之間醒了無須再睡,有時侯反而越睡越累。天醒人不起床,也如同“拔河”,人是拔不過天地的。5點前還沒有起床,6點“春分”人的神就出不來,使人精神不足。 如果晚上睡得過晚會耗殺陽氣,早上起得過晚會封殺陽氣。這叫“雙殺”。因此,既使睡晚了,早5點前也要起,中午補個覺,防止“雙殺”。 百歲老人都有個“共同的睡覺時間” 最佳睡覺時間應該是亥時(21-23點)至寅時(3-5點)末,也就是在晚上21點睡下,早晨5點起床。亥時三焦經旺,三焦通百脈,此時進入睡眠狀態,百脈可修養生息,可使人一生身無大疾。百歲老人有個共同特點,就是亥時睡,寅時起。可惜現代人很少能夠做到,所以大街上臉色紅潤的人越來越少。女性若想長久保持睡顏姣好,就應早睡早起。 另外,中醫理論還認為:“膽為中正之官,五臟六腑取決於膽。”膽又為少陽,“少陽不升,天下不明”。如果晚上不能及時睡覺,或睡覺質量不好,第二天...