レンタルサーバーは事前に用意されているサービス(メールやWeb)を利用するもの、VPSはOSやサーバーを自分で選んで自由に構築できる、で合ってます?
マストドンインスタンスを立てるならVPSですね
Mastodon は、オープンなウェブプロトコルを採用した、自由でオープンソースなソーシャルネットワークです。電子メールのような分散型の仕組みを採っています。