Future Generation Computer Systems 111 (2020) 570-581 Contents lists available at

7. Conclusions
In this paper, we demonstrate how BDA algorithms can be
developed with PyCOMPSs, and how these algorithms can be
executed in an HPC environment. Moreover, we present a com-
prehensive evaluation of the PyCOMPSs programming model and
runtime. As part of this evaluation, we compare PyCOMPSs to MPI
from the point of view of their productivity and performance HPC
clusters.

---

580
J. Álvarez Cid-Fuentes, P. Álvarez, R. Amela et al. / Future Generation Computer Systems 111 (2020) 570–581
Our analysis shows that PyCOMPSs provides a much more
productive programming model than MPI. PyCOMPSs allows de-
velopers to write BDA algorithms with more functionality and
less complexity than MPI. More precisely, the analysis of the
NPath complexity shows that PyCOMPSs routines remain in the 1
to 4 complexity interval, while MPI codes can reach complexities
of more than 30. Moreover, MPI complexity grows extremely
fast with the size of the application. This makes PyCOMPSs an
excellent
choice for developing large and complex BDA applica-
tions. In addition to this, our experimental evaluation shows that
PyCOMPSs achieves similar performance to MPI in HPC environ-
ments. These results are crucial, since MPI is one of the most
prominent HPC programming models, and is highly oriented to
performance. MPI outperforms PyCOMPSs in certain low gran-
ularity scenarios, but PyCOMPSs can achieve similar execution
times and scalability to MPI in most cases.
The work presented in this paper complements previous work
that compared the performance of COMPSs and Spark in HPC
environments [
28
]. We have shown that PyCOMPSs provides a
general-purpose programming model with the best trade-off in
terms of productivity, flexibility, and performance. In the future,
we plan to improve PyCOMPSs’ task scheduler and to further
experiment with data analytics algorithms in HPC environments.