Практическая работа №3 Кластерные системы Цели работы : Изучение кластерных систем и их построение

Назначение систем управления кластерами
Суперкомпьютеры (и кластеры как подкласс) приобретаются для решения вычислительно трудоемких задач: моделирование климата, финансовые расчеты, генная инженерия, моделирование физических процессов, химических реакций и так далее. Сложность экспериментов такова, что могут потребоваться годы расчетов на одном процессоре, поэтому исследователи активно применяют распараллеливание. Как результат, колоссальные по своей сложности задачи могут быть решены «всего» за недели. Однако при массовом запуске параллельных приложений на кластерах возникают новые сложности, которые связаны с тем, что чаще всего приходится иметь дело с большой серией экспериментов, каждый из которых имеет уникальные потребности относительно аппаратных ресурсов. В такой ситуации нужно очень умело распоряжаться узлами кластера, стараясь распределить нагрузку максимально равномерно. Необходимо находить «зазоры» в расписании между тяжелыми задачами и стараться запускать между ними более легкие, которые должны решаться на оставшихся свободных (или просто наименее загруженных) узлах. Нельзя забывать также, что задачи могут иметь различный приоритет и между запусками приложений могут существовать зависимости, что накладывает определенные ограничения на расписание.
Все вопросы, связанные с составлением расписания запусков пользовательских приложений, ложатся на систему управления кластером. Помимо составления расписания система должна обеспечивать надежность функционирования кластера. Выход одного узла из строя не должен приводить к остановке работы всего кластера. В идеале система должна «на лету» обнаруживать и обрабатывать изменение состава вычислительных узлов. Кроме составления расписания есть еще ряд задач, которые ложатся на систему управления: это предоставление удаленного доступа к вычислительным ресурсам, предоставление средств администрирования и отслеживания состояния кластера и ряд других вопросов.

Основные требования к системам управления
Главной задачей системы управления кластерами является обеспечение максимально быстрого возврата результатов запуска при существующем аппаратном обеспечении и согласно установленным правилам использования вычислительных ресурсов. Можно даже выдвинуть следующий критерий: хорошая система управления – это такая система, которую пользователь не замечает, имея возможность полностью сконцентрироваться на решаемой прикладной проблеме. Система должна максимально упрощать работу с вычислительным кластером и ускорять получение результатов экспериментов. Таким образом, с нашей точки зрения, можно выделить следующие три основополагающие требования к системам управления кластерами.
· Производительность (высокая пропускная способность). Системы управления кластерами фактически представляют собой системы пакетной обработки, и поэтому их основная задача – обеспечить максимальное количество заданий, выполняемых кластером за единицу времени. Чем быстрее получается результат, чем быстрее эта обратная связь для исследователя, тем большее число экспериментов может быть проведено, что позволит глубже проникнуть в исследуемое явление или, например, разработать для коммерческой организации более выигрышную стратегию поведения на рынке. Для обеспечения высокой производительности в системах управления используется эффективное априорное планирование и динамическое распределение нагрузки, основанное на миграции процессов.