Appleさんからしれっと凄い論文とリファレンス実装が出てた。
人物の全身が映った動画があればそこから人物の3Dモデルと背景モデルを生成出来て、別ポーズで再レンダリングできちゃう。
https://github.com/apple/ml-neuman