Languages for intercultural communication and education

Test Formats
Formal assessment can come in different parts of a course: a pre-test
can find out the level of the students’ knowledge and ability before the
course starts, and so perform a useful diagnostic function; tests during a
course can gauge progress and increase motivation, and act as a further
diagnostic; while post-tests can both measure individual students’ skills
and knowledge when a course has ended, and give some indication of
the effectiveness of the course. (See further, the section on ‘Formative
and Summative Assessment’, below.) Different types of test format
might be chosen at different stages, depending upon the purpose of the
teacher.
The test formats discussed in this section do not depart greatly from those
with which most language teachers will be familiar. Language tests fall into
two general types: objective and subjective tests. The former type (which
includes multiple-choice, true–false, and short question–answer tests) can be
marked easily and often automatically. They do not require the marker to
make a personal evaluative judgement. Subjective tests, however, do
involve some kind of personal evaluation of the candidate’s performance.
Objective tests are good at testing knowledge but not necessarily skills; for a
deeper and more global test of students’ abilities, subjective tests are often
preferable.
Objective tests
In the United States, objective tests of culture were used in New York
State education tests of a foreign language up until June 1976, when they
were discontinued (Valette, 1986: 180–1). Candidates for the Regents exam-
inations were asked to answer 10 of 15 multiple-choice questions on points
of cultural knowledge or etiquette; for example, about the population of
France or the significance of a theatre audience whistling. The administra-
tors of these tests dropped the culture section after expressing misgivings
about its effects on candidates’ learning – it was felt that students were
simply memorising facts, rather than organising their cultural knowledge
and relating it to their second-language behaviour (Dammer, 1975; cited in
Valette, 1986: 181). Valette’s examples of objective test items suggest why
they fell from institutional favour in New York State. She gives the
following example of a matching test item (1986: 184):
194
Intercultural Approaches to ELT
C:\Documents and Settings\Stephen Cracknell\My Documents\corbett\corbett.vp
13 August 2003 16:39:16
Color profile: Generic CMYK printer profile
Composite Default screen

---

FAMOUS PEOPLE
Match the following persons with their contributions:
(1) Rochambeau
(a) poet and president of Senegal
(2) Senghor
(b) feminist writer
(3) De Beauvoir
(c) pioneer aviator and novelist
(4) Curie
(d) discoverer of radium
(e) commander of French troops during
the American revolution
Correct responses: 1e, 2a, 3b, 4d
This kind of test item, and the kind of knowledge it represents, is easy prey
to the criticism that it tests a motley assembly of facts, here connected only
in so far as the celebrities involved were French speakers. More focused
questions of this type can, however, test relevant cultural knowledge,
given that the knowledge concerned has been (or will be) taught as an
integral part of the course. For example, the following matching test could
be given to students before, during or after a course that included
anglophone youth culture as a main theme:
POPULAR MUSIC TRENDS
Match the name of the following groups/singers with (a) the type of
music they play, (b) the city with which they are associated, and (c) the
decade they rose to fame:
The difference between this test item and the previous one is that it is focused
on a topic: namely, popular music trends. Texts about popular music trends,
and about youth cultures, will normally presuppose a level of background
knowledge of music styles, key representatives, and associated locations and
periods. It is therefore easier to demonstrate the usefulness of such a test item
in terms of its relation to a course component on popular music. One
advantage of a topic-focused test item like this is that it can function as a pre-
Assessing Intercultural Communication
195
The Supremes
Mersey Beat
London
1960s
Bob Marley
Brit Pop
Detroit
1970s
The Beatles
Reggae
Seattle
1980s
Oasis
Motown
Liverpool
1990s
The Sex Pistols
Grunge
Kingston
Nirvana
Punk
Manchester
C:\Documents and Settings\Stephen Cracknell\My Documents\corbett\corbett.vp
13 August 2003 16:39:16
Color profile: Generic CMYK printer profile
Composite Default screen

---

test, eliciting the level of background knowledge learners have before a course
component begins. The completion of such a test would also have the peda-
gogical purpose of orienting the students towards texts on the subject.
Even so, there are obvious dangers of too heavy a reliance on objective
test items such as those above. First of all, they can only test ‘shallow
learning’, such as the memorisation of facts, and not ‘deep learning’, which
would involve the ability to organise, synthesise and relate information (cf.
Entwhistle
et al
., 1992: 4–9). Sometimes, shallow learning needs to be tested,
but it should not be the final goal of a course on culture. Secondly, because
they stress facts and generalisations, objective test items can too easily
encourage stereotyping, as a further example from Valette demonstrates
(1986: 185):
DESCRIBING ETIQUETTE
What is the traditional American pattern when a man and a woman are
walking down a city street?
Correct response: The man always walks on the
curb
side.
This test item may be true, in so far as it describes traditional, and even
desirable, views of some Americans’ etiquette; however, presented out of
context as a ‘fact’, it encourages the false inference that all ‘traditional’
Americans behave in this way. Clearly this is too simplistic a view, even of
this aspect of gender relations. Deeper learning would contextualise this
nugget of etiquette socially and historically, and use observation and
interview to find out how widely it is actually observed in contemporary
society. Is there, for example, a generation divide in American views of this
aspect of etiquette? Has feminism impacted upon chivalric behaviour such
as men keeping to the kerb, offering women seats on buses, and holding
doors open for them to pass through? Objective test items cannot test
deeper learning of this type.