フォロー

M2 MacBook AirにFlexGen,OPT-6.7Bをインストール中。1.3Bは動いた。初めてのローカルLLM。だいたい15秒くらいで返してくれた

@mazzo FlexGen、MBP 14"(M1 Max 64GB)で何とかOPT-66B動かしてみましたが、とても実用出来では無かったです...orz
---- CUT ---- HERE ---- CUT ---- HERE ----
TorchDevice: mps:0
cur_mem: 34.6821 GB, peak_mem: 0.0000 GB
...
prefill latency: 75.365 s prefill throughput: 27.174 token/s
decode latency: 456.880 s decode throughput: 0.271 token/s
total latency: 532.245 s total throughput: 0.240 token/s
---- CUT ---- HERE ---- CUT ---- HERE ----

ログインして会話に参加
グルドン

Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。