「Fire TV Stick 4K」でYouTubeが1080pまでしか見れないと思ってたけど、HDMI ULTRA HD Deep Colorという設定をオンにする事で4K対応できた！！
私の場合は、LGの4Kディスプレイを使用していて、PrimeVideoはこの設定しなくても4Kで再生されたけど、YouTubeは設定が必要だったみたいです。
気づきをくれた @turp さんに感謝です😄