返事の内容はいい感じ。
レスポンスが悪いというか遅いなあ。あとたまに中国語の単語が混ざる。漢字だからなんとなく意味はわかる。
32BのQ5_K_Mでメモリは50GBくらい食ってる(OSなど全部込みで)
7Bも使ってみたけど明らかに32Bよりよくない。中国語の単語が混ざる頻度もずっと高い。でも明らかに速いんだよなあ。
https://huggingface.co/bluepen5805/DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf
CyberAgentが出したDeepSeek R1の日本語追加学習モデルの量子化版がもう出てたので試してみているー
アイコン画像は犬のように見えますが猫です