Учебное пособие Казань 018 удк

4.6. Общие рекомендации по разработке параллельных программ 
Ранее мы уже подчеркивали, что при переносе последовательной 
программы на параллельную ЭВМ без ее существенной переработки, как 
правило, не приводит к ускорению вычислений. Усилия, затрачиваемые на эту 
переработку, в значительной степени зависят от типа решаемой задачи, а 
именно: допускает ли задача распараллеливание по данным (параллелизм 
данных) или имеет место лишь параллелизм задач [7]. Как уже отмечалось 
выше, переработка последовательной программы существенно облегчается, 
если задача допускает распараллеливание по данным. В этом случае задача 
переработки может свестись к разбиению массива исходных данных на 
фрагменты, обработка которых ведется независимо на различных процессорах. 
Ясно, что при этом должна обеспечиваться равномерная загрузка процессоров, 
с учетом их, возможно, различной производительности. 
Эффективность программы будет зависеть от соотношения временных 
затрат на проведение вычислений на фрагментах исходных данных и пересылку 
данных (накладные расходы) [7]. По мере увеличения числа (а значит 

---

54 
уменьшения размеров) фрагментов данных объем вычислений на каждом 
фрагменте уменьшается. При этом накладные расходы могут оставаться почти 
прежними, например, вследствие большой латентности (связанной с потерями 
на передачу сообщения нулевой длины) коммуникационной среды. 
Можно рекомендовать следующий простой способ построения 
эффективной программы, основанной на свойстве параллелизма данных. 
Размеры фрагментов массива исходных данных следует уменьшать 
(соответственно увеличивать число параллельно работающих процессоров) до 
тех пор, пока имеет место почти линейное ускорение. Если же при очередном 
увеличении числа процессоров линейного ускорения не происходит, это 
означает, что накладные расходы стали заметными и дальнейшее 
распараллеливание по данным приведет к недостаточной загрузке процессоров. 
Если задача не допускает распараллеливания по данным, т.е. возможен 
лишь параллелизм задач, трудности существенно возрастают. Подход к 
программированию, основанный на параллелизме задач, подразумевает, что 
вычислительная 
задача 
разбивается 
на 
несколько 
относительно 
самостоятельных подзадач и каждый процессор загружается своей собственной 
подзадачей. Для каждой подзадачи пишется своя собственная программа. Чем 
больше подзадач, тем большее число процессоров можно использовать и тем 
большего ускорения можно ожидать (если удастся обеспечить равномерную 
загрузку процессоров и минимизировать обмен данными между ними). 
Для построения эффективного кода в данном случае программист должен 
провести анализ затрачиваемого времени разными частями программы с целью 
выявления наиболее ресурсопотребляющих частей.