M2 MacBook AirにFlexGen，OPT-6.7Bをインストール中。1.3Bは動いた。初めてのローカルLLM。だいたい15秒くらいで返してくれた
@mazzo FlexGen、MBP 14"(M1 Max 64GB)で何とかOPT-66B動かしてみましたが、とても実用出来では無かったです...orz---- CUT ---- HERE ---- CUT ---- HERE ----TorchDevice: mps:0 cur_mem: 34.6821 GB, peak_mem: 0.0000 GB...prefill latency: 75.365 s prefill throughput: 27.174 token/sdecode latency: 456.880 s decode throughput: 0.271 token/stotal latency: 532.245 s total throughput: 0.240 token/s---- CUT ---- HERE ---- CUT ---- HERE ----
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。
@mazzo FlexGen、MBP 14"(M1 Max 64GB)で何とかOPT-66B動かしてみましたが、とても実用出来では無かったです...orz
---- CUT ---- HERE ---- CUT ---- HERE ----
TorchDevice: mps:0
cur_mem: 34.6821 GB, peak_mem: 0.0000 GB
...
prefill latency: 75.365 s prefill throughput: 27.174 token/s
decode latency: 456.880 s decode throughput: 0.271 token/s
total latency: 532.245 s total throughput: 0.240 token/s
---- CUT ---- HERE ---- CUT ---- HERE ----