skawa (guru） @skawa@mstdn.guru

ローカルでLLMできるのってこんなにあるんですね
こうなると、まるでブラウザがエンジンが何って言うのと変わらない様子。

逆に、すべてのローカルLLMは開発元をOpenAIだと思い込んでいる説
https://zenn.dev/yuiseki/articles/d90c4544ea3ea6

DeepSeek-R1がNPU上で動作できるようMicrosoftが移植
https://pc.watch.impress.co.jp/docs/news/1658778.html

ドストパラの価格表、18種で198,000円〜299,800円

NVIDIA GeForce RTX5080 価格表です！
https://x.com/dospara_web/status/1884969511755132965?s=61

MSIのはついに水冷搭載かぁ
こういうの買う人は、最初からケース交換も頭に入れてるんだろうな。

モンスターGPUを完璧に冷却！しかも水冷で静かな「MSI GeForce RTX 5090 32G SUPRIM LIQUID SOC」
https://akiba-pc.watch.impress.co.jp/docs/topic/special/1658688.html

VRユーザーと開発者が知っておきたいNVIDIAとGPU”RTX 50シリーズ”のこと

https://www.moguravr.com/nvidia-gpurtx-50-announcement-matome/

エジケンさんをまたゲストに呼んで欲しいっす。RP

中国からみたDeepSeekのほうが分析が深い。

・5万個のチップを持っていたという話があるが真実ではない。DeepSeekはコンプライアンスに細心の注意を払っており非準拠のGPUを購入していないためチップの数は少ない。米国のGPUの使用方法は贅沢すぎる。
・追随者が先駆者を追いかけるコストは1/10で済むのが現実。追うものと追われるものの彼我の差は大きい。

後者を冷静に認識してるのが凄味よな…
https://x.com/kenn/status/1884450626832359723?s=61

　蒸留LLMをローカルで動かす試みがあちこちで見られますね。RP

DeepSeek-R1のIQ1_S(1.58bit)をRTX 4090(24GB)で試している。
llama.cppのオプション--n-gpu-layersでロードさせるレイヤー数を指定可能。8レイヤーで23.3GB、これが1枚の限界か。

当然のことながらGPUに乗りきってませんから遅い。だけど、動きはします...。

huggingface.co/unsloth/DeepSe…
https://x.com/noguchis/status/1884802487049433584?s=61

1.58-bit DeepSeek-R1を128GB M2 Ultraで動かそうと試行錯誤した結果、(理由はわからないが)面白いことに気がついた。
中途半端にGPUを使うと2tpsしか出ないが、いっそCPUだけを使うようにしたら、むしろ推論速度が速くなり、なぜかメモリ使用量も激減。これならもっと大きなモデルもいけるのでは？
https://x.com/gosrum/status/1884802296489615827?s=61

汎用的な話題は、サーバーのLLMを使った従来型で、専門的な話題は、ローカルのSLMでといった分業がなされていくんでしょうか？

iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発　知識蒸留の新手法「TAID」採用
https://www.itmedia.co.jp/aiplus/articles/2501/30/news101.html

【サハロフ佐藤の相場月報】

Core Ultra 200Sの通常版が発売、Ryzenは最大2万円の大幅な値上がり [1月後半のCPU価格]
https://akiba-pc.watch.impress.co.jp/docs/price/monthly_repo/1658686.html

DDR5 24GB×2枚が過去最安の13,990円、DDR5 SO-DIMM 8GB×2枚が3,980円で特売 [1月後半のメモリ価格]
https://akiba-pc.watch.impress.co.jp/docs/price/monthly_repo/1658687.html

｢Windows 11｣のスタートメニューからiPhoneの各種情報の確認やファイル転送が可能に ｰ まずは最新のプレビュービルドから
https://taisy0.com/2025/01/29/208051.html

AIの新フェーズ、NVIDIAがCESで語った「物理AI世界」を深掘りする(西田宗千佳)
https://www.moguravr.com/nvidia-keynote-ces-2025-column/

【サハロフ佐藤の相場月報】

リード10GB/sで格安のキオクシア「EXCERIA PLUS G4」が発売、小型のM.2 2230対応2TB SSDが2万円割れ [1月後半のSSD価格]
https://akiba-pc.watch.impress.co.jp/docs/price/monthly_repo/1658327.html

初の26TB HDDがWestern Digitalから販売開始、NAS向けなど上位HDDの一部が値下がり [1月後半のHDD価格]
https://akiba-pc.watch.impress.co.jp/docs/price/monthly_repo/1658326.html

Ryzen AI Max+ 395 のゲーミング性能が判明。APUでデスクトップ向けGeForce RTX 4060 Ti相当の性能に
https://gazlog.jp/entry/ryzenaimax-395-gaming-performance/

スマートグラス「XREAL One」レビュー 作業や娯楽に使えるのか？
https://www.moguravr.com/xreal-one-review-2/

自宅で動かしたいっすね。RP

DeepSeek、「ChatGPTやClaudeと同様、サーバーに鎮座するAIに質問を投げられるWebサービス」と見てる人と「Stable DiffusionやLlamaのように自宅のPCでローカルに動かせるAIモデル」と見てる人で結構認識が違うな。後者なら秘密情報が中国に漏洩云々～は関係ないし。
https://x.com/needle/status/1883846994927738971?s=61

これかな？RP

【モデル公開のお知らせ】
DeepSeek-R1-Distill-Qwen-14B/32Bをベースに日本語データで追加学習を行ったLLMを公開いたしました。今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。
https://x.com/cyberagent_pr/status/1883783524836413468?s=61

調教と言えば私の頃はボーカロイドだったが今はLLMを調教するのね。RP

【朗報】サイバーエージェントが公開したDeepSeek R1の日本語調教モデル、「1989年6月4日に何があった？」という質問にプロンプト・インジェクションをしなくても答えられる。
https://x.com/rootport/status/1883818440286421010?s=61

血圧が測れるファーウェイ「WATCH D2」の精度は？ 上腕式血圧計と9日間の計測結果を比較してみた(ジャイアン鈴木)

https://news.mynavi.jp/article/20250126-3115567/

中国勢がガンガン来ますねぇ。　RP

【速報】DeepSeek R1に張り合う新モデル「Kimi 1.5」が新たに登場。

注目すべき特徴
・OpenAIのo1に匹敵する結果
・マルチモーダルで高度な連鎖思考推論
・リアルタイムウェブ検索
・完全無料
・チャット回数無制限

出力文を日本語で出力するように促すと日本語で回答してくれます！
https://x.com/mugu_kagawaai/status/1883703224982745416?s=61

それぞれ2014年2016年の製品。

NVIDIAの900シリーズ・10シリーズGPUにサポート終了の気配。今すぐではないが、着実に近づく終了の足音
https://automaton-media.com/articles/newsjp/nvidia-geforce-20250127-326565/