VC Client v.1.5.2.9のServerDeviceModeを使ってInput Chunk Numを40ぐらいに減らしたら、遅延がめちゃくちゃ減ってほぼ通常のボイチャなみのレイテンシーになった。