Home | Notifications | New Note | Local | Federated | Search | Logout

Note Detail

Reply to @matoken@inari.opencocon.org
matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:53:24)
* 実行環境
LENOVO ThinkPad L13(無印)
Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz
SODIMM DDR4 Synchronous 2667 MHz (0.4 ns) 8GB x2

* PrismML-Eng_llama.cpp
$ build/bin/llama-cli --version
version: 0.2.0-dev (build 10663, commit c1abda394)
built with GNU 16.2.0 for Linux x86_64

* Bonsai
Bonsai 2 27B
---Reply---
matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:54:52)
以前試していたのはBonsai 8B以下だったので今回のBonsai 2 27Bの比較対象としてはBonsai 27Bと比較したほうがいいのかも
でもBonsai 8Bでも遅いので……

---Replies---

matoken :fox:@matoken@inari.opencocon.org (2026-09-29 18:58:32)
Bonsai (1-bit)は
1.7B, 4B, 8B, 27B
Ternary-Bonsaiは
1.7B, 4B, 8B, 27B
https://github.com/PrismML-Eng/Bonsai-demo/blob/main/Bonsai1_README.md

でもBonsai 2には27Bしかない?
https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README.md