Учебное пособие москва мади 2020 ббк 32. 81 В 683 Волосова, А. В. В683

Глава 1. Введение в параллельные вычисления
 
В ИТ
-
технологиях термин "параллельный" связан с решением сложных 
задач. Использование нескольких компьютеров одновременно для 
реализации отдельных частей сложной задачи привело к возникновению 
терминов «параллельные компьютеры» и «параллельные вычислительные 
системы». Разработка математического и программного обеспечения для 
решения сложной задачи –
к возникновению терминов «языки параллельного 
программирования», «параллельные численные методы», «параллельные 
алгоритмы». Важно запомнить , что термин «параллельный», применительно 
к 
решению 
сложных 
задач, 
заменяет 
слова 
«одновременный», 
«независимый» и означает, что части сложной задачи выполняются 
независимо друг от друга.
Часто вместо термина «параллельный» используется термин 
«параллелизм», имеющий такое же значение. Например, параллелизм 
данных, параллелизм задач и т.п. 
Таким образом, параллельные вычисления охватывают вопросы, 
касающиеся создания ресурсов параллелизма в процессах решения задач и 
обеспечения его эффективной реализации. Целью любого параллелизма 
является повышение эффективности работы компьютера на различных 
уровнях, а именно на
уровне
: 

задач 

данных

алгоритмов

инструкций

битов
. 
Рассмотрим каждый из уровней.

---

8 
1.1. 
Параллелизм на уровне задач (многопоточность):
 
Данный вид параллелизма относится к парадигме параллельного 
программирования и предполагает разбиение задачи на подзадачи. 
Подзадачи реализуются одновременно. Многопоточность предполагает:
1.
Обнаружение в программе вычислений, реализацию которых можно 
осуществлять параллельно.
2.
Последующее распределение данных по модулям локальной памяти 
процессоров.
3.
Последующее 
согласование 
параллелизма 
вычислений 
и 
распределения данных.
Параллелизм на уровне данных эффективен на однородных задачах –
задачах
, 
не допускающих возможности разбиения на подзадачи.