Future Generation Computer Systems 94 (2019) 453-467 Contents lists available at

3.3. Power consumption behavior
Power consumption of a cluster using Hadoop includes various
factors, such as the utilization of CPU, memory, disk, and network
IO. Measuring the effect of power for each of these resources sepa-
rately is an open challenge. Collectively, external power measure-
ment devices, such as the WattsUp Pro power consumption meter,
can be used to measure the power consumption over a period.
In this experimental study, we use the WattsUp Pro.net power
meter that logs the power used in terms of watts at the specified
time intervals into the non-volatile memory. The unit allows easy
download of data using the USB cable connected to an external
device (such as a laptop). The user can also collect data only when
the power consumption exceeds a predefined threshold.
By design, each SentiStrength MapReduce job is executed in two
steps: map and reduce. During these steps, various computation
(CPU) intensive, disk I/O intensive, and network I/O intensive sub-
tasks with varying workloads are initiated. The workloads depend
on the number of map and reduce tasks at the initiation of a job. The
map tasks read input data from the files provided at runtime and
split these files in data blocks of 64 MB. As the data blocks are pre-
pared, the reduce jobs start to read and analyze the sentiments in
the data blocks, writing the results to the output file. SentiStrength
is executed in four configurations, with one, two, four, and eight
VMs per PM. For each of these jobs, several map and reduce tasks
were initiated based on the block size configuration provided at
runtime. The output files were written in HDFS. SentiStrength jobs
are executed in two steps: map and reduce. During these steps,
various CPU intensive and I/O intensive subtasks with varying
workloads are initiated. The map tasks read input data from files in
HDFS (I/O intensive) and output intermediate data (CPU, network,
and I/O intensive). The reduce step reads the intermediate data
(CPU, network, and I/O intensive) and writes the output to a single
file on the disk (I/O intensive).
We observe five distinct power consumption levels for Sen-
tiStrength jobs running on the cluster testbed. The choice of the
host machine operating system, virtualization software, and hard-
ware capabilities also have an effect on the overall power con-
sumption.
Fig. 2
illustrates the power usage behavior for Sen-
tiStrength. We describe level
w
0
to be the idle mode when the
machines are running with the host operating system at
t
0
idling
without any VMs running. An increase in the power consumption
is observed
w
1
at (
t
0
<
t
<
t
1
) when
n
VMs are initiated, and
w
2
is
observed when Hadoop is started (
t
1
<
t
<
t
2
). Level
w
3
indicates
the start of the SentiStrength application on the cluster (
t
2
<
t
<
t
3
).
We observe a peak in power consumption due to the assignment
and distribution of map tasks to various nodes in the cluster. As
the map step begins, the map tasks start reading the data from
the disk, increasing the disk I/O, but reducing the overall power
consumption at level
w
4
(
t
3
<
t
<
t
4
). The cluster maintains almost

---

458
B. Qureshi / Future Generation Computer Systems 94 (2019) 453–467
a constant power consumption time with a variability of
±
4.5% in
power consumption until the reduce tasks initiate. As the reduce
jobs complete, the power consumption also reduces due to the
decrease in the number of parallel tasks executing in the cluster.
At (