Adobe PremiereのPannerエフェクトはキーフレームに非対応なのがネックだったけど。
Facebookがフリーで公開しているFB360 Spatialiserを使うと映像に合わせて立体音響の方向を指定できるっぽいな。