これは現在仕様ですね。カーソルが指定方向に移動した結果、画面外に移動したときを検出しているため、スクロールの結果画面外に置き去りにされたときはそのまま処理されています。検討してみて問題なさそうなら対応します。