フォロー

遠回りLLM使用ww 散財小説のようだ。

デスクトップのRTX 4080でDeepSeek (7Bモデル)をローカル実行しつつ、NVIDIA DGX Spark上のGPT OSS (20Bモデル)からコンテキストをフェッチするデュアルセットアップを実演します。

トンネル接続(コマンド: python dual_spark.py)でSparkにクエリ「イルカのコミュニケーション方法」を送り、レスポンス(文脈など)を7BのDeepSeekに渡す。結果、DeepSeekが詳細に回答。
「大規模モデル(例: 70Bや120B)の知見を小モデルに注入し、質問のオフロードなどに活用可能」とした。
youtu.be/0mXR_tdIwPQ?si=4thaX-

ログインして会話に参加
グルドン

Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。