ほーこれは画期的だ。ただ日本語にどこまで有効かは怪しいみたい。

https://ja.stateofaiguides.com/20210311-canine-tokenization-free-encoder/
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】