FlexGenでfacebook/opt-66b (660億パラメータ)が漸くMBP14" (M1MAX 64GiB)で動作したぁ...
重み圧縮してるので、0.271 [tokens/sec.]と遅いですが、当座RTX3090買わないでもすみそう...
それにしてもPyTorch nightly for Apple Silicon) buggyなので、何のデバッグしているのか分からん状況...orz