もう、とっととWindowsでDeepSeek動かす方法教えて！という方向け Windowsのローカル環境でLLMを動かす -話題のDeepSeekを動かしてみる- https://blogs.itmedia.co.jp/kizawa/2025/02/windowsllm_-deepseek-.html
@tkizawa 時間を空けて先ほど試したら落とし始めました
これで先に進めそうです😊
@tkizawa cyberagent版で過去の豪雪に関するレポートを書かせてみました、実用上問題ない速度で答えてくれたので使い勝手はまずまずといったところですね
木澤さんの記事でもCPUとメモリーは使うけどGPUはあんまり使わないようだったので
Ryzen ９ Pro 6950H memory32GBのミニ７PC GMKtec NucBox M7Proで動かしました
このミニPC はOculinkコネクターを持っているのでGPUパワーが必要になったらデスクトップ用のRTXシリーズも説持続できるので今後GPUパワーが必要になっても対応できます
@skawa 早速記事を見て試していただきありがとうございます。意外とGPUは使っていないですね。むしろVRAMはよく使った感じですね。このミニPCは良さそうですね。
@tkizawa 先人の誘導があると手早くいろんなLLMが試せそうで感謝しています🙇♂️
これからは分野別の知識特化のSLMも出てきそうな記事を読みましたので切り替えて試せるollamaは本当に助かります
ollamaの特性なのか設定で変わるのかわかりませんがGPUをあまり使わないのはGPU強化が厳しいノートPCでも使いやすいのでメリットではないでしょうか
ただ、メモリーはあればあるだけ使いそうな気配なのでそこには注意かなと思いました
自宅のデスクトップPCがどれも古いか非力なのでちょっとましなミニPCを探して西川和久さんの記事や戸田覚さんの動画で評価が高くかつ世代を経て安くなってたRyzen 6800,6950のモデルの中からこれを選びました
6800の機種だとメモリー16GB､SSD512GBになるので増設強化の手間を考えると最初から32GB,1TBで6万円前後というところでした
@skawa お役に立ててよかったです。ミニPCはLunar Lake搭載のものが出てくるのでそこら辺を狙いたいと思ています。
@tkizawa 続編ありがとうございます。
追試したところ
ollama run deepseek-r1:14b は走りますが
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf は走らず
It seems like you're trying to run a model using the `llama` command, possibly with a specific model file from
Hugging Face's model hub. The command you provided includes the model name
`mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf`. となります
そのあとに出るガイダンスに従ってllama download コマンドでも落とそうとしましたがリンクにアクセスできないと言われました。