Home | Notifications | New Note | Local | Federated | Search | Logout

Note Detail

matoken :fox:@matoken@inari.opencocon.org (2026-09-28 07:35:25)
Bonsai-2 てのが出ているみたい
後で試す

PrismML-Eng/Bonsai-demo: Bonsai Demo https://github.com/PrismML-Eng/Bonsai-demo
---Reply---
matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:25:01)
Bonsai 2を試してみたけど0.1t/sとかで使い物にならない遅さ
簡単な質問を一つするだけで数時間かかってしまう
どうもモデルが大分大きくなり手元の環境ではRAMが足りずSWAPもいっぱいいっぱいになってしまっているよう
てことで自分の環境ではBonsai (1) Ternary 8Bまでかな

> $ du -Hs models/*
> 7652136	models/bonsai2-gguf
> 1933996	models/gguf
> 4425008	models/ternary-gguf

---Replies---

matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:53:24)
* 実行環境
LENOVO ThinkPad L13(無印)
Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz
SODIMM DDR4 Synchronous 2667 MHz (0.4 ns) 8GB x2

* PrismML-Eng_llama.cpp
$ build/bin/llama-cli --version
version: 0.2.0-dev (build 10663, commit c1abda394)
built with GNU 16.2.0 for Linux x86_64

* Bonsai
Bonsai 2 27B