Print indd

4.2
New Instructions
Received ready information is automatically placed in the hardware bit array.
However, two new instructions are needed for handling ready information: send
ready (srdy) for sending ready flits and branch if not ready (bnr) to check
if a specific node is ready. An overview is given in Table
1
.
Table 1. Instruction set extension for ready synchronization
Mnemonic Source register Immediate value Function
srdy
Sender node
Send ready flit to
sender node
bnr
Receiver node Jump target
Check if
receiver node is ready
When it is not, jump to
jump target
srdy sends a ready flit to the node which is given in the register sender
node. It does the same like a regular send operation with two differences: first,
there is no payload. Second, the additional signal isReady is set to 1 (for regular
data send operations it has to be 0). When the ready flit arrives at the target
node, it is not put into the receive buffer. Instead, the isReady signal allows
the detection as ready flit. Therefore, the corresponding bit in the hardware bit
array is set to 1. This allows the processing element to check if the receiver is
ready. srdy might be called some cycles before the receive instruction on the
same node to reduce waiting times (the time between sending the ready flit and
receiving the answer from the sender node).
bnr is a branch instruction with the two operands receiver node (given in
a register) and jump target (provided as immediate). It checks if node is ready
to receive data and jumps to jump target if it is not. For this purpose, the
corresponding bit is checked in the hardware bit array. Originally, we intended
an instruction returning the bit itself in a register, but found a branch instruction

---

120
M. Frieb et al.
to be more efficient: when the receiver node is ready, the following instruction
can be directly executed (it is already in the pipeline). Otherwise, the sender
node has to wait for the ready flit. It can use the waiting time for executing
alternative code, spin on the bnr instruction or the instruction may be extended
to energy saving waiting: the processing element could sleep and be woken up
by the NI when the ready flit arrives. However, this is beyond the scope of this
paper.
Although branch instructions with side effects are uncommon, we designed
bnr with one small side effect: when the receiver node is ready, the bit in the
hardware bit array is reset to 0. This is necessary to ensure that at the next pro-
gram part which requires synchronization a new ready flit is awaited before flits
are sent. Alternatives to this behaviour would be a dedicated reset instruction
or a combination with a normal send operation. A dedicated reset instruction
may be forgotten and lead to time-consuming debugging by the software devel-
oper. On the other hand, a combination with a normal send operation leads to
complex code when several flits are sent in a loop. Then, the first flit would have
to be sent outside of the loop via send and reset and the rest could be sent via
regular send in the loop. With the bit being reset at the bnr instruction, there
is no need for other specialized instructions and code stays simple with only two
additional instructions.