skawa (guru） @skawa@mstdn.guru
20bモデルもわりと軽快に動きますね
私はメモリー３２GBのミニPC（GPUはRTX3060 12GB)でOllama上で動かすのでGGUF形式に変換されたモデルを使ってます
https://huggingface.co/unsloth/gpt-oss-20b-GGUF
LM Studioなどで動かすならおーきしんさんのリンクのでいいと思います
右上の黒枠の「Use this model」をクリックして使いたいサービスが載ってればそれを選ぶとターミナルからDLするコマンドラインがコピペされます
普段は某MMORPGに生息しています。
PC,タブレット、スマートスピーカー、ボカロなどに興味があります。
IT系ニュース記事を引用したトゥートをする性癖があります。
「こんなおもろい事あるんやで～」とドヤりたいのかも。
2017/10/08 サーバーのさくらインターネットさんへの移行に伴いプロフィール変更。
2017年 4月 に登録
