@miyagawa M1 Mac miniのセットアップから数時間の間、Bluetoothの接続が勝手に切れる現象は起きていません。
ご指摘の外側 USB A ポートにUSB 3.2(Gen 1)のSSDを接続し、そこに入っている4K動画を全画面再生しながら、BT接続のAirPodsで30分以上Potcastを聞いていますが、問題なさそうです。