Суммирование векторов A=B+C с помощью последовательного устройства

Проблема неоднородности доступа

• Архитектура NUMA имеет неоднородную память (распределенность памяти между модулями), что в свою очередь требует от пользователя понимания неоднородности архитектуры. Если обращение к памяти другого узла требует на 5-10% больше времени, чем обращение к своей памяти, то это может и не вызвать никаких вопросов. Большинство пользователей будут относиться к такой системе, как к UMA (SMP), и практически все разработанные для SMP программы будут работать достаточно хорошо. Однако для современных NUMA систем это не так, и разница времени локального и удаленного доступа лежит в промежутке 200-700%.

Языки параллельного программирования

• Специальные комментарии:
• внедрение дополнительных директив для компилятора, использование данных директив в процессе написания программы для указания компилятору параллельных участков программы.
• Использование спецкомментариев не только добавляет возможность параллельного исполнения, но и полностью сохраняет исходный вариант программы. Если компилятор ничего не знает о параллелизме, то все спецкомментарии он просто пропустит, взяв за основу последовательную семантику программы.
• Пример: стандарт OpenMP
• для Fortran - !$OPM
• для C – директива “#progma opm”
• Расширение существующих языков программирования (ЯП):
• разработка на основе существующих ЯП новых языков, путем добавления набора команд параллельной обработки информации, либо модификации системы компиляции и выполнения программы.
• Пример: язык High Performance Fortran (HPF)
• Разработка специальных языков программирования:
• использование ЯП годных для использования только для многомашинных и многопроцессорных комплексов. В данных ЯП параллелизм заложен на уровне алгоритмизации и выполнения программы.
• Пример: языки Occam (для программирования транспьютерных систем),
• Sisal (для программирования потоковых машин),
• Норма (декларативный язык для описания решения вычислительных задач сеточными методами)