QwQ Bakeneko 32B GGUFを試してみました

前から気になっていた、どのファイルを選べばいいかをGeminiに聞いてみました
ちょっとした疑問を聞きながらモデルが選べてはかどりますね

うちのPCではQwQ Bakeneko 32B GGUFモデルではQ5_Kが快適に使える上限のようでした
Q6_kでも動くんですが出力にそれなりに時間がかかって使いづらかったです
同じ質問を投げてもQ5_KとQ6_Kで言い回しや説明量の多さが違っていて、パワーのあるマシンやNPU搭載モデルならもっとBit数の多いモデルを使って精度が上がるんだろうなと思いました。