The Translator as Communicator

Norm-referenced assessment, in which test takers are graded in relation to the
performance of a given group or norm, may be seen as less useful for the
purposes of translator/interpreter training than criterion-referenced assessment,
in which test scores are interpreted with reference to a criterion level of ability.
166 THE TRANSLATOR AS COMMUNICATOR

---

As Bachman (1990:74) observes, criterion-referenced testing might typically
mean that ‘students are evaluated in terms of their relative degree of mastery of
course content, rather than with respect to their relative ranking in the class’. One
challenge in translation performance assessment, then, is to define levels of
mastery of criteria in sufficiently objective terms for them to be usable by
different testers in different situations. Some progress has been made in this
direction.
3
This brings us to the notion of replicability; that is, the need to ensure
that measurement of ability is based on procedures and rules that are sufficiently
well defined to be replicable on different test occasions and/or by different
testers. We are currently a long way from achieving this in translator
performance assessment but initiatives which aim to increase the reliability of
measurement should be encouraged.
To meet some of the criticisms noted above, one improvement might be to
devise tests which seek to measure discrete skills (e.g. the ability to infer—cf.
Chapter 5
—to handle idiolect—cf. 
Chapter 6
) in the manner of objective tests.
4
This might counter some of the impressionism involved in judging translations.
There is no reason why, particularly at formative stages, cloze tests, multiple-
choice and other discrete-point testing methods should not be used for the
purpose of assessing particular abilities and providing feedback to trainees. This
would meet Hurtado’s (1995) requirement that it should be learning objectives
which provide the basis for test design. For example, one proposal has been to
offer variant translations at discrete points in a complete target text, accompanied
by its source text; candidates are asked to select the most appropriate formulation
in terms of the purposes for which translation is required. In designing such a
test, it would be necessary to ensure that (1) the variants offered are clearly and
uncontroversially separated from each other in terms of appropriacy yet are not
too obvious to present a challenge; (2) that the discrete points in the text are
suitable for testing the particular ability (e.g. awareness of illocutionary force;
ability to relay intertextual signals) to be measured; (3) that the discrete points
are chosen to measure only that ability—i.e. that the test is valid; (4) that test
takers are provided with all the extra-textual information necessary for making
appropriate choices. This is of course no small task and, before investing the
necessary effort in test design, testers would need to be convinced that the
advantages in terms of feedback and skill development were sufficient.
Moreover, the attempt to define and assess a unidimensional skill in isolation
from other skills and other factors may to an extent be, as Gipps (1994:71)
suggests, artificial—especially in the case of translating if, as this book claims,
texture is intimately bound up with the structure and indeed the entire context of
texts. Prudence would suggest then that any objective testing of the kind outlined
above should not replace but rather be complementary to the activity of
translating whole texts.
ASSESSING PERFORMANCE 167

---