LLaMA 65B model、M1Max 64GBでも2[tokens/sec.]位出ました^^)/ これくらい出ればLocal LLaMAちゃんとギリギリ対話可能なレベルかも。(それにしても、CPU onlyでこの速度が出るのは凄い...)
なぜこの手順が必要でしょうか?mstdn.guruはあなたが登録されているサーバーではないかもしれないので、まずあなたのサーバーに転送する必要があります。 アカウントをお持ちではないですか?こちらからサインアップできます
mstdn.guru