gguf化のトゥートを見て私も動かしてみました
SLMのほうはメモリも食わなくてコンパクトでいいですね
LLMのほうもgguf 化されたら動かしてみたいです。

楽天、AIモデル「Rakuten AI 2.0」シリーズを無料公開　大規模言語モデル＆小規模言語モデルの2形態で
https://www.itmedia.co.jp/aiplus/articles/2502/12/news139.html