RWKVの14億パラメータモデルで2%ほど日本語がトレーニングデータに入ってる物があったので試したところ、内容は変だけど一応受け答えはできるようになってる。
https://huggingface.co/BlinkDL/rwkv-4-raven

日本語データをもっと入れたモデル、どっかの研究機関が作ってくれないかなぁ。リソース的に個人じゃ無理、、、