Future Generation Computer Systems 94 (2019) 453-467 Contents lists available at

3. Motivational case study
The VM placement problem is a thoroughly investigated area
in cloud computing. Many algorithms have been proposed and
developed to optimize the various proposals and techniques [
9
,
12
,
17
,
22
,
33
,
38
–
43
,
45
,
48
]. A major facet for research in power-
aware placement of VMs is reducing the power consumption of
PMs, increasing the efficiency of the data center by tuning into
parameters, such as CPU utilization, memory and I/O utilization,
and the multitenancy of VMs per PM. In this section, we present
a motivational case study of a real workload processed on a vir-
tualized Hadoop cluster to better understand the effect of power
consumption of applications based on various parameters.
3.1. Hadoop virtual cluster environment setup
The experimental investigation carried out in this section fo-
cuses on the performance of virtualized Hadoop clusters for sen-
timent analysis of Twitter data. In this experimental evaluation,
we deploy a virtual Hadoop cluster, namely the RIoTU testbed. The
RIoTU testbed is composed of four servers. Each server is equipped
with Intel Core i7 processors running at 3.1 GHz with 16 GB RAM
and 500 GB SSD storage. Each server runs Windows Server 2012R2
as the host operating system with VMware vSphere [
49
] used for
running the VMs. The servers in the RIoTU testbed are isolated from
the rest of the data center for performance parameter measure-
ments for this experimentation. These machines are connected
to the WattsUp.net power measurement equipment for collecting
reliable power consumption data at timely intervals.
We deploy VMs in various configurations on the cluster running
Ubuntu 16.0 LTE and Apache Hadoop 2.6.2. Various sets of experi-
ments are conducted for each of the cluster configurations given
in
Table 1
. In 1 VM configuration, only a single VM is launched
per PM with 70% CPU resources, 4 GB RAM and 50 GB Disk space
allocated to the VM. Similarly in 2 VM configuration, only 2 VMs
are launched per PM with 35% of CPU, 2 GB RAM and 50 GB Disk
space allocated to each VM. Next, in 4 VM and 8 VM configurations,
4 and 8 VMs are launched per PM. In each of these configurations,
one of the VM servers is the master node running the Hadoop
NameNode and YARN resource manager, and the rest of the VMs,
each execute a single data node and node manager. This allows us
to isolate a single data node to a single VM in order to see the power
consumption behavior of the workload. In all configurations, the
maximum MapReduce resource memory was set to 1 GB with a
replication factor of 2. The data block size was set to 64 MB.
Fig. 1
shows the layout of the experimental testbed with four servers. In
4 VM configuration, 4 virtual machines are stacked on each server.
The power measurement is taken collectively for the entire cluster.

---

B. Qureshi / Future Generation Computer Systems 94 (2019) 453–467
457
Table 1
Configurations of RIoTU testbed.
No of VMs per server
CPU
RAM (GB)
HDD (GB)
1 server (stand-alone)
20%
16
500
1 VM
70%
4
50
2 VM
35%
2
50
4 VM
18%
1
50
8 VM
9%
1
50
Fig. 1.
RIoTU testbed with 4 servers.
3.2. Twitter workload
To create data workloads for this work, we used the Twitter
API [
50
] for collecting tweets. Twitter4J’s java extension library
is available as twitter4j-core-4.0.4.jar [
51
] and was used to col-
lect the data. A stand-alone, simple GUI-based application named
TweetCollector was written in Java Swing to connect to the Twitter
API. This application allows user to provide search terms, collects
tweets containing these search terms and stores in text files. For
this experimentation, search terms including ‘‘Donald Trump’’,
‘‘Hillary Clinton’’, and ‘‘2016 US Elections’’ were used to collect
various sets of tweets over a period of two weeks in December
2016. The resulting tweets were stored as text files (datasets)
in HDFS on the RIoTU testbed. To analyze the performance and
energy consumption on the cluster, we created five datasets of
sizes 0.2 GB, 1 GB, 3 GB, 12 GB and 60 GB.
Further, we used SentiStrength [
18
] to investigate the power
consumption behavior of applications executing on the cluster.
SentiStrength is an algorithm that extracts the sentiment strength
from informal English text and has been widely applied in research
on sentiment analysis on Twitter data. SentiStrength is a single-
process application, for parallel processing, the authors modified
SentiStrength into a MapReduce-based application that executes
in the Hadoop environment. To execute the program, various sets
of parameters are provided including (i) paths for Twitter data
text files, (ii) number of map and reduce jobs, (iii) output file
paths, and (iv) the SentiStrength lookup folder. As the application is
launched in the cluster, a certain number of map and reduce jobs
are initiated. At the initial stage of the process, the data files are
read from the specified input folder. The map jobs split the input
files into data blocks that are read in parallel by the application. As a
map job completes, the reducers start executing the SentiStrength
algorithm and write to the output file specified. The output file
contains the ranking of sentiments in the range of
−
5 (negative
sentiment) to 5 (positive sentiment), giving the overall sentiment
of the tweets present in the file.
Fig. 2.
Power usage profile for SentiStrength application.