Print indd

4.1
Metric
A quantitative comparison with other approaches that increase the accuracy of
instruction accurate models or decrease the simulation runtime of cycle accu-
rate models is not easy. There is no well-known metric that takes the required
simulation time as well as the resulting exactness into account. They are most
of the time viewed as independent dimensions. For this reason, a new unit is
introduced that determines “how much accuracy for each time unit” is achieved.
To also allow comparisons of multiple algorithms which are run on a simulated
architecture using the presented methodology, the accuracy and simulation time
themselves have to be normalized. This enables to compare different approaches,
e.g. the ones presented in the related work section, regarding their improvement
over the standard approaches with respect to both units. In this paper this app-
roach is used to show how different amounts of accurate iterations for each loop
change the quality of the methodology.
To implement the metric, the required simulation time and error of the TS
and O3 model are defined as reference points. The O3 model represents the
accurate but slow simulator while the TS model is taken as the fast but inaccu-
rate one. We define the exactness of the TS model to one since it is the worst
case scenario. In contrast, the O3 model has an exactness of two. The reference
implementation of the proposed methodology will have values between these two
numbers. Consequently, the accuracy function
e
n
is defined as shown in Eq. (
2
).
t
s,x
denotes the estimated time for which the exactness is calculated.
t
s,O3
is the
estimated time of the O3 model and
t
s,T S
is the estimated time the TS model
provides. The absolute error in comparison to the O3 model can be found in
the numerator of the fraction while the absolute error of the TS model is in the
denominator. To have the range between one and two, the resulting relative error
of the fraction is deducted from two. For the TS model the accuracy, according
to the term, is one while for the O3 model it is two.
e
n
(
t
s,x
) = 2
−
|t
s,x
− t
s,O3
|
|t
s,T S
− t
s,O3
|
(2)

---

A Hybrid Approach for Runtime Analysis
93
In a similar way, the simulation time is normalized and defined. The function
t
n
is given in Eq. (
3
).
t
x
is the required simulation time for which the normalized
simulation time is computed.
t
T S
is the simulation time needed by the TS model
and
t
O3
is the simulation time the O3 model needs for a full simulation run. In
the numerator, the absolute deviation from the TS model is determined and set
in relation to the deviation of the O3 model from the TS model. The one is
added to have the resulting values within the expected range of one (simulation
time of TS model) to two (simulation time of O3 model).
t
n
(
t
x
) = 1 +
|t
x
− t
T S
|
|t
O3
− t
T S
|
(3)
The quotient
a
n
of the two normalized values (shown in (
4
)) yields a synthetic
number that can be used for comparisons of runs with different configurations.
For the reference models, it is exactly one. Approaches that achieve a higher
number have a better accuracy per simulation time ratio which means that the
target was reached. On the other hand, values smaller than one mean that the
approach performs worse with regard to the accuracy per time in comparison
to the reference models. However, since the accuracy or the time itself might be
increased, the methodology might still be beneficial. Different situations of the
introduced metric are depicted in Fig.
2
. Besides the angle bisecting line that
shows where the values are the same as achieved by the reference models, it
also shows two examples of lines where the results are better or worse. If
a
n
yields two, a perfect solution is obtained because the accuracy of the O3 model
is reached with a simulation time that is equal to the TS model. This happens
within Fig.
2
at the point where the line annotated with “2” has a normalized
accuracy of two with a normalized simulation time of one.
a
n
(
t
s,x
, t
x
) =
e
n
(
t
s,x
)
t
n
(
t
x
)
(4)
The presented metric is used to compare the runs of the different algorithms
using different configuration options against the TS and O3 model. The results
are given in the following section.