Side By Side VR動画は最終的に下記のような感じでまとまりました

ffmpeg -i RIGHT_EYE.FILE -vf "[in] pad=2*iw:ih:iw:0 [right];movie=LEFT_EYE.FILE[left];[right][left] overlay,scale=2*iw/3:2*ih/3[out]" SBS1.mp4

ffmpeg -i SBS1.mp4 -vcodec libx264 -x264opts frame-packing=3 SBS2.mp4

未検証部分も多いですけど、おそらくこれでイケる