GPUを活用できなくて、めちゃくちゃ遅いけど、ちゃんと動いた。Pi4の4GBって10年ぐらい前のスマホぐらいの性能なんですが、1.5Bをさらに量子化すれば、動いちゃう。
https://wohl-yz.net/archives/4039
はじめに TinySwallow-1.5Bは、日本のAI企業Sakana AIが2025年1月に発表した小規模日本語言語モデル(SLM)です。 TinySwallow-1.5Bは、新しい知識蒸留手法「TAID (Temp […]
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。