話題のDeepseek R1の32Bをメモリ64GBのM1 Max MacBookに入れてみました
使ってみた感じ量子化はQ6_Kがちょうどいい感じかもしれません
Q8_0は重すぎるしQ4_K_Mはちょっとアホになった感じがする
70BのQ3_K_Mはとりあえずは動いてますが結構重たいのでファンが結構回ります

Copilot PCやapple intelligenceってこれくらいの賢さのAIがローカルで動いてガンガン無料でアシストしてくれるって妄想してしまうけど
みんなのPCがM4 Maxの128GBとかになったら世界が変わるかもしれないけど
メモリ16GBで動くAIは7BのQ4_K_Mくらいかなって考えるとそんなに現実甘くないなという気がしている