メモメモ　RP

Qwen3-30B-A3BはCPUで動作させる場合、メモリは一杯あるだろうから推論負荷は実質3Bモデルと同等。というわけでGPU無しでRyzen9-7950x3dのCPUと32GBメモリだけでQ6_Kが12tps以上のまあ実用的速度で動作してしまう。GPU無しで中型LLM性能が動いてしまう時代へ
https://x.com/umiyuki_ai/status/1917100466930127083