としのり君によると、LLMが蓄積できる知識量について「1パラメーター当たり理論的に3.6ビット(各社発表の平均)の情報を蓄積できる」とのことで、理論的に、小さいモデルは大きいモデルに優らないとのこと。