Side By Side VR動画は最終的に下記のような感じでまとまりました
ffmpeg -i RIGHT_EYE.FILE -vf "[in] pad=2*iw:ih:iw:0 [right];movie=LEFT_EYE.FILE[left];[right][left] overlay,scale=2*iw/3:2*ih/3[out]" SBS1.mp4
ffmpeg -i SBS1.mp4 -vcodec libx264 -x264opts frame-packing=3 SBS2.mp4
未検証部分も多いですけど、おそらくこれでイケる