自作PC完成しました。
Core i5 12400とCPUパワーはあまりですが、Samsung 980 PROを2TBのせ、GeForceRTX 3060 12GBを載せたのでStable Diffusionはバリバリ動く印象です