Home | Notifications | New Note | Local | Federated | Search | Logout

Note Detail

Reply to @matoken@inari.opencocon.org
matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:54:52)
以前試していたのはBonsai 8B以下だったので今回のBonsai 2 27Bの比較対象としてはBonsai 27Bと比較したほうがいいのかも
でもBonsai 8Bでも遅いので……
---Reply---
matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:58:32)
Bonsai (1-bit)は
1.7B, 4B, 8B, 27B
Ternary-Bonsaiは
1.7B, 4B, 8B, 27B
https://github.com/PrismML-Eng/Bonsai-demo/blob/main/Bonsai1_README.md

でもBonsai 2には27Bしかない?
https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README.md

---Replies---

matoken :fox:@matoken@inari.opencocon.org (2026-09-29 19:12:52)
4月の #kagolug 発表分
このときにはまだ27Bはなかった

今更LLMを触り始める(ローカルLLM bonsai) https://codeberg.org/matoken/kagolug-2026.04/src/branch/main/slide/slide.adoc