Есть такое наблюдение, когда в системе работает свыше 400 человек, любые изменения проходят с задержкой. Это связанно со многими причинами, а когда свыше 1000 тут и говорить нечего.
Предположим себе такую ситуацию, есть кластерная система в которую входит три сервера приложения. Известно, что для штатной работы системы достаточно два сервера приложения. Третий сервер приложения, является резервной нодой, для повышения отказоустойчивости системы.
Для входа в мульти кластерную схему работы сервера, нужно время, и это время нужно для согласования информации между серверами (это внутренняя логика системы). Если падение произойдет в пиковую нагрузку, то сервер в кластер будет собирается довольно долго, как эту проблему решить?
Причина кроется в количестве пользователей, которые пытаются подключится к системе, и системе приходится отвечать на каждое такое подключение, тратя на это ресурсы.