Raspberry Pi CM4 (8GiB)でAlpaca-LoRA 7B Model普通に動きました。1.637[token/sec]なので、かなり遅いですがこのコンパクトなデバイスが話しているのは、ちょっとした感動です。 #LLM
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。
