Future Generation Computer Systems 94 (2019) 453-467 Contents lists available at

5. Evaluation
This section presents a detailed experimental evaluation of the
proposed scheduling algorithm. We choose to compare the pro-
posed algorithm with two scheduling algorithms, namely stochas-
tic HEFT [
16
] and RTC [
17
]. We modify the HEFT and RTC algorithms
to enable dynamic workflow. This is to allow these algorithms to
schedule all tasks in the workflow immediately as a new workflow
arrives. Since both algorithms do not consider profiles, we modify
the RTC algorithm to include the price factor of a VM within the
computation of the VM cost. We extensively compare these two
algorithms with the proposed algorithm for verification purposes.
The effectiveness of the proposed framework is evaluated from
three perspectives: feasibility, CPU utilization, and energy effi-
ciency. In this section, we first present the experimental setup
followed by detailed experimental studies.
5.1. Experimental setup
The CloudSim framework [
52
] is extended to simulate a cloud-
computing cluster environment. We assume a data center with
five different types of VMs (i.e., t2.micro, t2.medium, t2.xlarge,
m4.large, and m4.xlarge). These are borrowed from the Ama-
zon web service (AWS) Elastic Compute Cloud (EC2) instance
types [
53
]. We assume that the number of VMs for each type is
infinite, and the VM instances can be acquired at any time. Two
workflow templates are created for evaluation. These workflows
are based on real-world scientific application workflows: Epi-
genomics (gene-sequencing) and Broadband (earth-quake science)
and are obtained from the Pegasus Workflow repository [
54
]. There
are 15 elements in the workflow dataset, and we consider only
small and medium datasets with about 30 and 60 tasks per work-
flow, respectively. To simulate dynamic workflows in the cloud
environment, the workflow template is randomly selected after a
time interval and processed by the scheduler. The time between
two workflows is a variable, given by the Poisson distribution
with
1
λ
=
100
.
Initially, when no profiles are available, we use
the normal distribution to model the execution time of each task.
Based on the experimental study presented in Section
3
and the
power consumption results obtained in [
55
], we assume the power
usage at idle time for a server to be 150 W. This applies for an Intel
Xeon E5 Broadwell processor-based server, which is commonly
used for general-purpose m4 type instances in AWS [
53
]. For
experimental evaluation, we assume that the VM boot time is 2 s.
Two different test setups are used, Test Setup 1 and Test Setup
2. Test Setup 1 is used to verify the feasibility and task completion
efficiency for the three scheduling algorithms. Test Setup 2 is used
to compare the energy efficiency of the proposed algorithm against
HEFT and RTC. Test setup parameters can be seen in
Table 3
with
further details provided below:
Test Setup 1
The data center consists of 100 PMs. The max load
per PM is set to 12 VMs with maximum CPU utilization threshold
θ
y
<
0
.
7.
Table 3
shows four scenarios with different numbers
of application workflows (200 to 2000) and VMs (200 to 800).
Settings in scenario 1 depicts light workload, with medium-sized
workloads in scenario 2–3 and large workload in scenario 4.
Test Setup 2:
The data center consists of 150 PMs. The max load
per PMs is set to 20 VMs with threshold
θ
y
<
0
.
85. Scenarios 5
to 9 in
Table 3
shows the number of workflows (400–4000) and
VMs (100 to 800). Scenarios 5 depicts lightweight workload, 6–7
medium sized, 8–9 large and very large workloads.
Table 3
Test setup parameters.
Test Setup 1. (100 PMs)
Scenarios
1
2
3
4
VMs
200
400
500
800
Workflows
200
400
800
2000
Test Setup 2. (150 PMs)
Scenarios
5
6
7
8
9
VMs
200
300
400
800
1000
Workflows
400
900
1600
2000
3000