そのタッチディスプレイハードウェアとアプリの実装に寄りますね

Androidには「フリックイベント」と呼ばれる機能があるのですが、フリックイベントの感度はX座標・Y座標の移動距離によって判定されています

この感度設定は開発者の任意なので、あまりにも小さな感度だと使いにくいかな？と思います

人間の指の構造を考えると真上下、真横には絶対に動かすことは不可能なので、実態にあったベクトル計算をしてフリックイベントは設定するべきだと思いますね