どういうロジックかは知らないけど、LLMの量子化って、凄いね。

「DeepSeek-R1 671B」を「131GB」のサイズに量子化することに成功しました。これは、非常に機能的でありながら、元の720GBから80%のサイズ削減です。
https://note.com/npaka/n/na1126a4e5fda