ググっていたらx264のドキュメントがひっかかった。
>x264 の出力方法はオプションに--output-dept 10を追加する。追加しなければ 8bit深度になる。
>ffmpeg の出力方法はYUV420ならば出力オプションにpix_fmt yuv420p10leを追加する。追加しなければ 8bit深度になる。
ってことなので確認したらpix_fmt yuv420でエンコードしていたようだったので、pix_fmt yuv420p10leに変更して再エンコードしてみる。
使用しているのは内部的にはx265だろうけどffmpegだとおもうのでこれでいけるはず