Selection of our books indexed in the Book Citation Index in Web of Science™ Core Collection (bkci)

Table 12
).
4.11 Testing with users
It can be divided into:
4.11.1 User surveys
Potential users fill in or answer the questions in the questionnaire. The question-
naire has been prepared in advance and contains questions that are not instructional.
Typically, the correct question is:
“
what is the appropriate background color for the
XY application.
”
An incorrect question is:
“
is green an appropriate background color
for XY?
”
This question is incorrect because it mentally disqualifies green. An even
more incorrect question would be a multiple choice question: is it better A) red, B)
green, C) blue? Because one intuitively foregrounds the desired answer. Keep in mind
the following fact: we DO NOT WANT to force our hypothesis by questioning, but to
PROVE its existence. The survey should take no more than 45 min. The advantage of
this method is that it can be done remotely. The number of participants should be
more than 7 (as opposed to a qualitative usability study).
The method advantages
Criticism of the method
UI/UX bugs are found faster by a pair of participants
than by an individual.
Opponents of the method blame the fact of
cooperation. Collaboration can supposedly reduce
the quality of answers. In other words, participants
try less in pairs.
Authors consider this statement to be a hypothesis
that has not been confirmed.
If the UI behavior is non-standard, the pair will
detect it faster. If the participant is not sure, he/she
can ask a colleague. However, this advice (forbidden
in classical studies) is a common help when
evaluating SW in real-world settings. Therefore, the
First Time Experience
is better recognized.
By collaborating on tasks, testing can be significantly
accelerated.
The overall interview is then carried out in a group
where the synergy effect becomes apparent.