フォロー

huggingface.co/bluepen5805/Dee

CyberAgentが出したDeepSeek R1の日本語追加学習モデルの量子化版がもう出てたので試してみているー

返事の内容はいい感じ。
レスポンスが悪いというか遅いなあ。あとたまに中国語の単語が混ざる。漢字だからなんとなく意味はわかる。
32BのQ5_K_Mでメモリは50GBくらい食ってる(OSなど全部込みで)
7Bも使ってみたけど明らかに32Bよりよくない。中国語の単語が混ざる頻度もずっと高い。でも明らかに速いんだよなあ。

ログインして会話に参加
グルドン

Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。