この記事にある「一度アクセスを許可した連絡先データがClubhouseのサーバに保存されているのかどうかは不明だが、一旦許可した連絡先へのアクセスを遮断するには、iPhoneの［設定］→［Clubhouse］で「連絡先」のトグルをオフにする。」を試して実際にアプリでの連絡帳一覧で変化が出るかは知りたいところです。

Clubhouseに連絡先を提供してもいいの？ 米メディアが注意喚起 https://www.itmedia.co.jp/news/articles/2102/12/news063.html