メモメモ RT
思ったよりも簡単だったので、llama.cppでDeepSeek-R1-Distill等を試す方法をごく簡単にまとめました。8GB VRAMくらいから動きます。
llama.cppでGGUF形式のモデルファイルを読み込み、チャットする|Kohya S. @kohya_tech #note https://x.com/kohya_tech/status/1881575136568152139?s=61
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。