マウスホイールの押し込みみたいに
スワイプとかする時に同時押しで、スクロールにしても何にしても、次にタッッチなりスワイプするまで動作を止めないボタンが1つあれば解消しそうな気もします。