フォロー

rinnaを4bitで量子化してM1 Macで動かしているのだけど、英語で学習したモデルより1/4ぐらいの速度しか出ない。どこが問題なのかさっぱり分からない…

ログインして会話に参加
グルドン

Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。