基本的には聞く音源に合わせた方が良いという認識です。
macOSのミュージックアプリについては、Audio MIDI設定を変更したらアプリを再起動しないと反映されないという情報もちらほら見かけます(検証したい・・・)。

その点Amazon Musicアプリは排他モードを使えば気にしなくて済むので良いですが、モード切り替えも面倒なんですよね・・・。