C++のvectorは初期サイズを超えるリサイズをする場合、メモリを新たに確保して要素を移動するので、最初の参照とかポインタは無効になっちゃいますね。
vectorは連続性を確保する仕様なのでやむなし。
可変長で参照を維持したいならlistを使うのかな。