CPU負荷はいざという時のアクセスやユーザ増減を考慮に入れながら予算と見合いで調整するのが本来ですね。ざっくり安定稼動を目指すなら平均で50%前後とかが目安ですかね。
まあ規模が大きすぎてコストもデカイところはそんな事言ってられないところもあるかもしれませんが。