Print indd

A Flexible FPGA-Based Inference
Architecture for Pruned Deep
Neural Networks
Thorbj¨
orn Posewsky
1
and Daniel Ziener
2(
B
)
1
Ibeo Automotive Systems GmbH, Hamburg, Germany
2
Friedrich-Alexander University Erlangen-N¨
urnberg (FAU), Erlangen, Germany
[e-mail]
Abstract. In this paper, we present an architecture for embedded
FPGA-based deep neural network inference which is able to handle
pruned weight matrices. Pruning of weights and even entire neurons
reduces the amount of data and calculations significantly, thus improving
enormously the efficiency and performance of the neural network infer-
ence in embedded devices. By using an HLS approach, the architecture
is easily extendable and highly configurable with a free choice of param-
eters like the number of MAC units or the used activation function. For
large neural networks, our approach competes with at least compara-
ble performance as state-of-the-art x86-based software implementations
while only using 10% of the energy.