ローカルでLLM動かしてていろいろとわかったところとしては質問が長くなるとGPUのメモリの利用率が跳ね上がったまま固定されるっていうところ。 ってなるとやっぱ5090が欲しくなるという無限ループに(メモリ倍増モデルがあれば下位バージョンでもいいですが)w
なぜこの手順が必要でしょうか?mstdn.guruはあなたが登録されているサーバーではないかもしれないので、まずあなたのサーバーに転送する必要があります。 アカウントをお持ちではないですか?こちらからサインアップできます
mstdn.guru