O n f e r e n c e

 
Classification Results 
The first experiment measured the performance of the Maximum Entropy classification 
method for 
k
-grams of different sizes (1 through 3) and for both stemmed text and 
parts-of-speech tokens. Table 1 shows the 
kappa
rates for the problem of move 
classification, while Table II shows the kappa rates for the problem of step classification 
estimated by performing 10-fold cross validation.
 
Unigrams (k=1) 
Bigrams (k=2) 
Trigrams (k=3) 
Stemmed text 
0.47 
0.42 
0.29 
Parts-of-speech 
0.16 
0.29 
0.33 
Table 1: Kappa Classification Rates for Move Classification (Introduction) 
 
Unigrams (k=1) 
Bigrams (k=2) 
Trigrams (k=3) 
Stemmed text 
0.32 
0.24 
0.17 
Parts-of-speech 
0.26 
0.28 
0.28 
Table 2: Kappa Classification Rates for Step Classification (Introduction) 
The rates show that the 
k
-gram representation holds information that is indeed relevant 
to both the move and the step realizations of a sentence. Interestingly, as the size of the 
k
-gram increases, performance tends to go down when using the stemmed text but not 
when using the parts-of-speech tokens.
The results also show that there is substantial room for improvement and that the 
problem of automated sentence classification according to move and step is indeed a 
very challenging one compared to other problems (e.g., whole document classification, 
biological sequence classification, etc.), for which the 
k
-gram representation has been 
successfully used before (
Cheng et al., 2005; Berger & Merkl, 2005).
 

---

-121- 
2014 CALL Conference 
LINGUAPOLIS
www.antwerpcall.be 
To improve rates, an evaluation was also performed, in which the outputs of the six trained 
classifiers were combined using a weighted combination rule. 
Figure 1 shows the results of this evaluation for all four sections. In all cases, the rates of 
the combined model outperformed those of the individual classifiers in each ensemble.
Figure 1. Classification rates obtained by combining the outputs of individual classifiers trained using 
k
-
grams of three different sizes (1 through 3) and two different text features (stemmed text and parts-of-
speech tokens)