いけともさんの動画 https://youtube.com/watch?v=8hSjKu3FajY&si=LtCSbj4oG_cu4gCb&t=1441
でiPhoneローカルで動くgemma-3、いわゆるSLMを入れて動かしてみました
まずappsutoreでPocketPalを入れて
動画画面に出てたgemma-3-270m-it-F16. を頼りに
HuggingFaceからgguf-org が出してるモデルに辿り着きました。
動かしてみるとiPhone11でもいけともさんと同じ質問に十分なレスポンスで帰ってくるのが確認できました。
20bモデルもわりと軽快に動きますね
私はメモリー32GBのミニPC(GPUはRTX3060 12GB)でOllama上で動かすのでGGUF形式に変換されたモデルを使ってます
https://huggingface.co/unsloth/gpt-oss-20b-GGUF
LM Studioなどで動かすならおーきしんさんのリンクのでいいと思います
右上の黒枠の「Use this model」をクリックして使いたいサービスが載ってればそれを選ぶとターミナルからDLするコマンドラインがコピペされます
povo2.0ユーザーなら無料で使えます
au回線使わなくても自宅Wi-Fiからもok
【神アプデ】povo 2.0、月額0円のまま「GPT-4o」「Perplexity」などを提供開始
https://news.yahoo.co.jp/articles/36df527e6d9040fabe1060990e4a62883abd9fb4
普段は某MMORPGに生息しています。
PC,タブレット、スマートスピーカー、ボカロなどに興味があります。
IT系ニュース記事を引用したトゥートをする性癖があります。
「こんなおもろい事あるんやで~」とドヤりたいのかも。
2017/10/08 サーバーのさくらインターネットさんへの移行に伴いプロフィール変更。