Future Generation Computer Systems 94 (2019) 453-467 Contents lists available at

1. Introduction
In today’s economy, the demand for everyday Internet usage
is skyrocketing. Cloud-computing technology enables software-as-
a-service (SaaS) over the Internet using the infrastructure in data
centers. The large demand of services is escalating the growth
of data centers, which predictably affects the demand in energy
consumption, consequently increasing the operational costs of
data centers [
1
]. A recent report [
2
] shows that 1.1% to 1.5% of
the total power utilized in the world accounts for the data center
energy utilization. In the US alone, 91 billion kWh of electricity
were consumed in 2015 by data centers, which accounts for about
1.8% of the total US power consumption [
3
,
4
]. In the same year,
416.2 TWh of electricity were utilized by data centers worldwide.
E-mail address:
[e-mail]
.
The power consumption of information technology (IT) directly
contributes to a larger carbon footprint.
Since 2013, various energy-efficiency measures have been con-
sidered to reduce the power consumption in data centers. Such
measures include the design and manufacturing of energy-efficient
servers, optimal placement of servers in data centers, efficient de-
ployment of power distribution units, energy-efficient air manage-
ment and cooling systems, and effective use of virtualization tech-
nologies [
3
,
5
,
6
]. Most of these improvements have been adopted
by various hyper-scale data centers owned by IT giants, such as
Facebook, Google, and Amazon. In contrast, small- to medium-
scale data centers are usually owned by small enterprises, univer-
sities, private-sector businesses, and government organizations.
These data centers are typically deployed as private cloud in-
frastructures and provide services to a limited number of clients.
According to [
7
], only 5% of the power consumption related to
data centers worldwide is due to hyper-scale data centers; the
https://doi.org/10.1016/j.future.2018.11.010
0167-739X/
©
2018 Elsevier B.V. All rights reserved.

---

454
B. Qureshi / Future Generation Computer Systems 94 (2019) 453–467
remaining 95% relates to small- and medium-scale data centers.
The NRDC reported that energy management in small- to medium-
scale data centers with consistent workloads is more significant
than the dynamic nature of the workload in hyper-scale data
centers. Furthermore, in these kinds of data centers, the workflows
submitted are of homogeneous nature where similar kinds of ap-
plications are executed by a small group of clients in a multi-tenant
environment.
In small- to medium-scale data centers, server consolidation
provides a mechanism for efficient usage of server utilization [
8
,
9
].
As a server consolidation technology, virtualization reduces the
underutilization of servers by allowing the multitenancy of ap-
plications per physical server, thus maximizing the efficient use
of space and reducing the energy, hardware, operational, and de-
ployment costs. However, energy-aware mechanisms for deploy-
ment of tasks with varying workloads in virtualized environments
is challenging. Zheng et al. [
10
] presented a distributed traffic-
flow consolidation algorithm for distributing workloads in the
data center. The proposed algorithm considers the consolidation
of traffic flows into a small set of links and switches, shutting off
the unused resources. They noted that, with the added complex-
ity of the decentralized approach, they achieve a similar energy-
performance tradeoff compared to centralized approaches. Wu
et al. [
11
] proposed a light-weight Virtual Machine (VM) migra-
tion algorithm that considers the server utilization threshold to
determine workload scheduling in a cluster. The use of a threshold
can be controversial since the dynamic workloads can alter the uti-
lization of various servers over a period; therefore, one threshold
value may not provide an optimal solution. Wang et al. [
12
] used
integer programming to model the ownership costs of VMs per
physical machine (PM). They showed that the complexity of the
proposed model has no effect on the performance of the consoli-
dations. Shaw et al. [
13
] noted that VM consolidation increases the
average response time of tasks, negatively affecting the energy-
performance tradeoff. They proposed a heuristic approach for a
restrictive VM consolidation approach. In addition to the results
from the work, deploying an energy-efficient solution is complex,
unpredictable, and might degrade the performance of an energy-
efficient data center.
To address this challenging issue, we take inspiration from the
concept of application profiles (AP) presented in [
14
]. In this work,
based on the size of an application workload, a certain number
of VMs are provisioned and deployed on the PMs in the data
center. The new energy-management framework proposed in this
paper utilizes realistic profiles of application workloads to achieve
a greener and more energy-efficient data center while consider-
ing the utilization of resources and performance constraints. The
framework devises a three-layer architecture: (i) Application Pro-
file layer (APL), (ii) Virtual Machine layer (VML), and (iii) Physical
Machine layer (PML). At the APL, APs are kept that contain ap-
plication details along with the workload, estimated runtime, and
resource requirements. The VML considers VM setup parameters,
such as the number of CPU cores, memory assignment, and storage
allocation. It is also responsible for VM placement, deployment,
and migration on PMs. The PML considers on/off operations on
PMs, temperature considerations, and dynamic voltage and fre-
quency scaling (DVFS).
The work presented in this paper reviews the current work
in VM placement on PMs in data centers. We focus on small- to
medium-scale data centers routinely deployed in small organiza-
tions and universities. A common characterization of these data
centers is the low variability and high certainty in application
workloads, resulting in a near constant number of VMs. Due to
infrequent variability in data workloads, the policy of hosting a
certain number of VMs per PM is rarely updated, and usually,
no adjustments are made [
15
]. A system model for the workflow
assignment in the data center using a novel scheduler algorithm is
presented. The performance of the proposed scheduler is validated
through simulation studies. We compare the proposed scheduler
with two scheduling algorithms, namely stochastic heterogeneous
earliest finish time (HEFT) [
16
] and robust time cost (RTC) [
17
].
Results show that the proposed scheduler is 19% and 38% more
energy efficient than RTC and HEFT, respectively for medium to
large sized workloads.
The contributions of this paper are in three-fold:
•
The concept of power-aware APs is highlighted through a
motivational case study. A realistic workload is created using
SentiStrength [
18
] and is processed on a Hadoop cluster using
various configurations of VM deployment per PM. Results
from the experimental testbed are used to devise a mecha-
nism for defining power-aware APs.
•
A power-aware framework is proposed for the efficient place-
ment of application workloads in a virtualized data center.
The framework utilizes the APs to compute the cost of ex-
ecuting a workflow in the data center, based on the power
consumption requirements. A heuristic based scheduling al-
gorithm for AP matching is developed based on criteria in-
cluding CPU, memory, IO, and power consumption require-
ments. The run time complexity of the proposed approach is
similar to RTC and HEFT schedulers.
•
Extensive simulation studies are carried out to evaluate the
proposed framework. The results from the scheduler are com-
pared to the RTC and HEFT schedulers for nine different
scenarios. Results show that the proposed algorithm is more
efficient in terms of energy utilization.
The rest of the paper is organized as follows. Section
2
provides
the background and related works. Section
3
details a motivational
case study for the power efficiency of a data center, building
the case for the proposed framework based on APs. Section
4
presents details for the proposed power-aware framework. Sec-
tion
5
presents detailed experimental evaluations followed by the
conclusions and future directions in Section
6
.