Print indd

5
Experimental Setup and Results
Our measurements were carried out on our distributed shared memory architec-
ture synthesized onto a FPGA prototype. We used a 2
× 2 tile design with up to
8 Leon3 cores per tile and a tile local memory, which are connected by a shared
bus. The tiles are interconnected with a 2D-Mesh NoC. The timing analysis of
our design with the tool Xilinx Vivado revealed, that the proposed atomics unit
itself is able to operate at 419 MHz. Together with its TX and RX interface, it
still reaches 285 MHz. It is integrated into the network adapter, which is cur-
rently able to run at 100 MHz. The complete design with CPUs, NoC, Bus and
other modules of our complete project limits the frequency to 50 MHz, since
one single clock domain is used so far. Further, due to resource constraints our
FPGA prototype limits us to a 2
× 2 tile design. We tried to compensate this by
increasing the core count to 8 cores per tile.
Before running actual stress tests, we first obtained cycle accurate minimal
duration simulations using an RTL simulator. The results are shown in Fig.
4
(a)
for the various atomic primitives implemented in our atomics unit. The whole
duration is split into trigger-time (triggering the network adapter by the cores),
NoC-time (time for flit generation on sender side, reception on receiver side and
travel time over the NoC for both request and response messages) and atomics-
time (actual time for carrying out the atomic operation in the atomics unit). It
is made clear, that while the trigger-time only depends on the bus arbitration,
the NoC-time can increase drastically for higher network load. However, the
atomics-time is constant after bus grant.

---

148
S. Rheindt et al.
function
T
trigger
T
NoC
T
atomics
spinlock
7
47
10
spinlock retry
0
0
10
CAS
14
50
10
Fetch-and-op
11
49
10
hw enqueue
14
49
37
hw dequeue
7
48
30
(a) Cycle accurate minimal duration of
individual and standalone atomic oper-
ations in number of clock cycles
Module
LUTs Register
Atomics
501
316
TX & RX 1031
687

1532
1003
% NA
11.85% 12.35%
% Tile
1.44%
2.00%
(b) Resource utilization of
the atomics unit