That distinguish it as a subject

Participants for this study were 34 English speakers (1 was a native
speaker of Romanian) enrolled in an Italian as a foreign language course
at a large mid-western university in the United States. Some had spent some
time in Italy; others were heritage learners. They were scattered across all
proficiency levels and both attention conditions. Only one indicated prior
language study (Spanish, French, and Portuguese). Twenty-six participants
were female and 8 were male. They were enrolled in the 2nd semester of
first-, second-, or third-year Italian classes. Table 2 breaks down participant
characteristics according to level and gender.
(From Gass, Svetics and Lemelin, 2003)
Getting down to writing
188

---

Free ebooks ==>   www.ebook777.com
TRY IT OUT!
#23
Look at the following example from Barkaoui (
2010
). Make a list of
any characteristics of participants described by the authors. Then
locate another article from one of your course reading lists and do
the same.
The study included 31 novice and 29 experienced raters. Participants were
assigned to groups based on their response to a background questionnaire.
Experienced raters were graduate students and/or ESL instructors who had been
teaching and rating ESL writing for at least 5 years, had a Master of Arts or Master
of Education degree, had received specific training in assessment and essay rating,
and rated themselves as competent or expert raters. Novice raters were mainly
students who were enrolled in or had just completed a pre-service or teacher-
training program in ESL, had no ESL teaching and rating experience at all at the
time of data collection, and rated themselves as novices. The participants were
recruited from various universities in southern Ontario, Canada. They varied in
terms of their gender, age, and L1 backgrounds, but all were native or highly
proficient NNES. Table 1 describes the profile of a typical participant in each group.
(From Barkaoui,
2010
)
Data collection instruments
Data collection instruments are just what they sound like. They’re the tools
you’ll use to elicit the data you need from your participants and they will,
therefore, be selected according to how effectively they promise to help you
address your research questions. They’ll also reflect the research approach
you’ve adopted (see
section 10.2
). Data collection instruments include such
things as tests, questionnaires, audio-video recorders, and interview
prompts. Whichever instrument(s) you select for your study, you’ll need
to provide a clear rationale for why you opted for those particular instru-
ments and not for others – in much the same way as you have to justify
your choice of participants. This is important because it allows others to
understand your study more fully – to acquire a sense of how you oper-
ationalised the variables involved and of how to go about replicating the
study, should they choose to do so.
Look at how the following researcher describes some of the instruments
used in his study, which considered whether essay raters’ evaluation criteria
change with experience.
To examine the relationships between the analytic and holistic scores
and the effects of rater experience on these relationships, multilevel
modeling (MLM) was used. MLM is an advanced form of multiple
Writing up small-scale research projects or dissertations
189

---

Free ebooks ==>   www.ebook777.com
regression analysis that takes into account the hierarchical structure of data
(Hox, 2002; Luke, 2004). Hierarchical data means that observations at
lower levels are nested within units at higher levels. In this study, ratings are
nested within raters. With nested data, there may be more variation between
raters than within raters, a violation of the independence of observations
assumption that underlies traditional multiple-regression analysis. MLM
addresses this problem, because it assumes independence of observations
between raters, but not between ratings within a rater (Hox, 2002;
Luke, 2004). MLM also allows the examination of the effects of rater
variables (e.g., experience) on holistic scores (main effects) and on the
relationships between the analytic and holistic scores (called cross- level
interaction effects in MLM; Hox, 2002).
The software program HLM 6.0 for Windows (Raudenbush, Bryk,
Cheong, & Congdon, 2004) was used to build and test various MLM
models, following procedures suggested by Hox (2002), before identifying
the final model that fit the data. In addition to the outcome variable, holistic
scores, the study included one rater-level (called Level-2 in MLM) predictor,
rater experience (coded 0 for novice and 1 for experienced), and seven
measures of essay features that constitute the Level-1 predictors. These
measures were the five categories in the analytic scale as well as essay length
(number of words per essay measured using the word count function in
Microsoft Word) and essay topic. The prompt was used as a measure of
essay topic (what the essay is about), with the study prompt coded 0 and
the sports prompt coded 1.
(From Barkaoui,
2010
)
If you use a test, questionnaire or interview prompts to collect your data,
include a copy of these as an appendix at the back of your work.
Procedures
Having described your participants and data collection instruments, you
now need to describe the procedures you followed; that is, what you did
and the order in which you did it. As with the instruments used, your
description of the procedures needs to be detailed enough to allow other
researchers to replicate your study, should they wish to do so. Often, the
procedures and the instruments employed as part of them are reported
together. This is illustrated nicely in the Barkaoui example above.
Here’s another description of procedure from an article by Silvia
Gennari: