Home | Notifications | New Note | Local | Federated | Search | Logout

Note Detail

matoken :fox:@matoken@inari.opencocon.org (2026-09-28 07:35:25)
Bonsai-2 てのが出ているみたい
後で試す

PrismML-Eng/Bonsai-demo: Bonsai Demo https://github.com/PrismML-Eng/Bonsai-demo

---Replies---

matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:25:01)
Bonsai 2を試してみたけど0.1t/sとかで使い物にならない遅さ
簡単な質問を一つするだけで数時間かかってしまう
どうもモデルが大分大きくなり手元の環境ではRAMが足りずSWAPもいっぱいいっぱいになってしまっているよう
てことで自分の環境ではBonsai (1) Ternary 8Bまでかな

> $ du -Hs models/*
> 7652136	models/bonsai2-gguf
> 1933996	models/gguf
> 4425008	models/ternary-gguf