Effectiveness of software testing techniques in enterprise: a case study

 
Figure 8. Problematic issues in software testing that needs to be improved by Experts 
Prepared by author according to empirical research results. 
In the third place, we can see Test tools, Test Efforts, Time and Test Planning. 2 experts, Expert B and 
Expert D, identified Time as a critical issue, while others, Expert C and Expert F - distinguished Test 
Techniques. Expert A states that his team needs to improve Incident handling activity, Expert E - Test 
Management (test goals, process), and Expert G - Test design. All experts agree that Time is always 
the most critical issue that, actually, could affect the software quality the most. If the defects are 
delayed to be fixed, other software components suffer as well because of close relationship between 
them. QA team are also stuck, since they cannot continue testing while the particular functionality is 
blocked by unfixed defect. In statistical documents (see Figure 9, page 54), we can see the main trends 
of overdue defects.
Figure 9. The trends of all overdue Blocker defects in different Sprints 
Source: Company's statistical data 
These defects has the highest level of criticality (also called as faults). It means that these defects make 
the biggest harm to the system and block specific functionality. These defects should be fixed as soon 
0% 
20% 
40% 
60% 
80% 
100% 
1 place 
2 place 
3 place 
4 place 
5 place 
6 place 
7 place 
8 place 
9 place 
10 place 
Incident handling 
Test design 
Test efforts 
Exit criteria for testing 
Test techniques 
Test tools 
Time 
Test Management (test goals, 
process) 

---

55
as possible. They should be detected in development phase while the harm to system is lesser. So time 
is very important factor for such defects. 
Continuing the topic of problematic issues, we asked the experts 
"What are the most critical 
problems in some or all different areas? Why? Give some examples below after selection."
in order to 
identify the area in terms of test levels, test types. The results are presented in a chart below (see 
Figure 10, page 55).