グルドンなら該当のMac持ってる人居そうだなぁ
レスポンスが速いのは正義。RT
うおお！すごい！すごい！すごい！！M1 Maxの64GBメモリのMac上でLLaMAの一番でかい650億パラメータモデルが動いてる！歴史が動いた！しかもstreamingで人間が喋るのと同程度の速度で返してくれてる！！何言ってるか分からんけどメッチャ賢い事言ってそう！！ →RT
https://twitter.com/umiyuki_ai/status/1634774694737088512
推論時間はだいたい2トークン/秒か。これね、メチャメチャ速いよ。FlexGenで175Bモデル動かすと1トークン出すのに50秒かかるから、100倍速い →RT
フォロー
高火力じゃなくMacでも戦えるって風が吹き出したのかな？ 進展が早い。 RT
大規模言語モデルでもっと遊びたくてRTX4090を買うか迷っていたところに、Macならユニファイドメモリだから128GBだって（お金を積めば）使えるみたいな話が流れてきて、話の展開の速さに驚いています。外付けGPUのないMacは向いてないって話がほんの2ヶ月くらい前までは定説だった気がするのに
