GakyoのManjiの原理は、VQGANとCLIPの組み合わせにある。 VQGANとは、Vector Quantization-GANで、要はベクトル量子化とGANの組み合わせである。 と書くと、あたかも「わからない説明のお手本」のような書き振りだが、ベクトル量子化を理解すればそんなに難しくない。 「ベクトル量子化」は、高次元ベクトルを効率的に扱いたいときによく用いられる。たとえば100次元くらいの情報を扱いたいのだが、扱う情報量が疎(スパース)の場合、ほとんどの次元の情報がゼロになる。そこで効率的にベクトルを検索したり類似性を探したりするためにベクトル量子化と言う処理を加え