rinnaを4bitで量子化してM1 Macで動かしているのだけど、英語で学習したモデルより1/4ぐらいの速度しか出ない。どこが問題なのかさっぱり分からない…
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。