どんどん最適化が進んでいきますね。RT
llama.cpp 進化すご!LLaMAの30Bモデルが5.8GBのメモリで動くようになったとのこと。https://github.com/ggerganov/llama.cpp/discussions/638 https://twitter.com/abacaj/status/1641896847139655691
https://twitter.com/santa128bit/status/1642031049713803265
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。