Print indd

6
Conclusions
In this paper, we present a flexible architecture for an FPGA-based embedded
SoC that is able to accelerate the inference of previously learned and arbitrary
pruned fully-connected deep neural networks. This architecture enables the infer-
ence of today’s huge networks on energy-constrained embedded devices. By using
pruning, the size of external memory as well as the amount of data to be trans-
ferred can be significantly reduced which increases the energy efficiency and
performance. An application and network-specific design can be easily achieved
by using HLS in order to increase the abstraction level of the design entry. The
resulting architecture has a comparable performance with state-of-the-art desk-
top and server processors for large networks. However, only a fraction of energy
is needed which enables new applications for embedded systems, even on battery
powered devices. Future works on this topic might further increase the through-
put and energy efficiency by combining pruning with batch processing [
19
] into
one architecture.