Print indd

part at the same time are avoided: A node sending flits waits until the receiving
node signalizes that it is ready. And a node receiving flits only sends one ready
flit when it is ready to receive and then waits for flits from the sender (flit transfer
starts “on demand”). Should the sender not yet be ready to send data, it just
has to store the ready flit and can start sending as soon as it has finished its
computation.
Our procedure is completely safe when synchronizing each flit (like in s-a-w),
but then synchronization overhead is way too high. Instead, we intend that ready
synchronization takes place only once per packet or program block (which may
even imply communication in both directions). This works well as long as a
packet does not exceed a certain length and each program block is written in a
way that ensures that the receiver can process incoming flits fast enough. When
a sender delivers faster than its receiver can process incoming flits and it sends
more flits than the receiver node has buffer slots, buffers could still run full. In
this case, the maximum number of flits before the next synchronization is limited
by the number of receive buffer slots at the receiver node and the difference in
time between executing a send and a receive operation.
3
When processing of
flits at the receiver is at least as fast as flits are sent from the sender, there
is no problem and therefore no restriction on the number of flits to be sent.
However, it has to be considered that not all flits might arrive in constant time
periods, although they may be sent in such. On their way through the NoC, flits
may be hindered (e.g. collisions, deflection routing) on their direct way between
sender and receiver. Thus, there might be periods where few flits arrive and
others with more flits arriving – which might be more than the receiver node
might handle at a time. An ideal number of flits between two synchronizations is
up to the software developer and influenced by specific details of the architecture.
Therefore, attention has to be paid that ready synchronization takes place in
appropriate periods to avoid full buffers.
The ready synchronization concept is realizable without requiring additional
hardware. Thereby, each node maintains a software array with one entry for
each other node. These entries indicate if a node is ready to receive data (i.e.
if a ready flit was received from a particular node). Nodes can send ready flits
at any time. Thereby, ready flits are normal flits with a defined content. Code
example 1 illustrates the source code of the sender side: the sender node has
to check the array for the state of the receiver node. When it already indicates
ready, it can jump over the while loop, reset the entry in the array and start
sending. Otherwise, the code in the while loop is executed: the next flit is taken
from the FIFO receive buffer. It has to be checked whether it is a ready flit
3
For example, when a send operation takes 100 cycles and a receive operation takes
105 cycles, it takes 20 sends (2000 cycles) to permanently occupy one more buffer
slot.

---

Lightweight Hardware Synchronization for Avoiding Buffer Overflows in NoC
117