Mpi для Фортрана

MPI_Type_extent и MPI_Type_size : важные информационные функции. Их характеристики удобно представить в виде таблицы:

Вид данных	sizeof	MPI_Type_extent	MPI_type_size
стандартный тип	равносильны
массив	равносильны
структура	равносильны		sizeof(поле1)+sizeof(поле2)+...
Описатель типа MPI с перекрытиями и разрывами	не определена	адрес последней ячейки данных - адрес первой ячейки данных + sizeof(последней ячейки данных)	sizeof(первой ячейки данных) + sizeof(второй ячейки данных) + ...

Можно сказать, что MPI_Type_extent сообщает, сколько места переменная типа занимает при хранении в памяти, а MPI_Type_size - какой МИНИМАЛЬНЫЙ размер она будет иметь при передаче (ужатая за счет неиспользуемого пространства). MPI_Type_size отсутствует в примере, потому что закомментирована в WinMPICH - в binding.h сказано, что стандарт на нее сформулирован неправильно.
В Фортране их придется использовать постоянно ввиду отсутствия sizeof (в Фортране чего не хватишься - того и нет).

Коллективные функции.

Под термином "коллективные" в MPI подразумеваются три группы функций:

• 
  функции коллективного обмена данными;
  
• 
  точки синхронизации, или барьеры;
  
• 
  функции поддержки распределенных операций.
  

Коллективная функция одним из аргументов получает описатель области связи (коммуникатор). Вызов коллективной функции является корректным, только если произведен из всех процессов-абонентов соответствующей области связи, и именно с этим коммуникатором в качестве аргумента (хотя для одной области связи может иметься несколько коммуникаторов, подставлять их вместо друг друга нельзя). В этом и заключается коллективность: либо функция вызывается всем коллективом процессов, либо никем; третьего не дано.
Как поступить, если требуется ограничить область действия для коллективной функции только частью присоединенных к коммуникатору задач, или наоборот - расширить область действия? Создавайте временную группу/область связи/коммуникатор на базе существующих, как это показано в разделе про коммуникаторы.