大江戸温泉より新しく出来た大規模温泉施設がビックサイトに近いですよ、お台場へはりんかい線で駅一つ。
入館受付できない時間帯ありますが、24時間営業している模様。

泉天空の湯 有明ガーデン
https://www.shopping-sumitomo-rd.com/ariake/spa-izumi/about.html