デモ動画を見ると車で移動してもその動きに合わせて見え方が変わって違和感が無いですね〜。

天空の城を出現させる深層学習技術 動画内の空を入れ替える「Castle in the Sky」 https://www.itmedia.co.jp/news/articles/2012/22/news104.html