Raspberry Pi CM4 (8GiB)でAlpaca-LoRA 7B Model普通に動きました。1.637[token/sec]なので、かなり遅いですがこのコンパクトなデバイスが話しているのは、ちょっとした感動です。 #LLM