Российской государственной библиотеки Попова, Ада Андреевна

Таблица 9
Результаты тестирования, прогнозируемые и реальные отметки по контрольной работе

1-я серия		2-я серия		3-я серия		4-я серия
прогноз	к/р	прогноз	к/р	прогноз	к/р	прогноз	к/р
5	5	5	5	3	3	4	4
3	3	4	4	5	5	4	4
3,5	4	2	2	4	4	2	2
4	3	4	4	4	3	5	4
2	2	4	5	2	2	4	4
4	4	3	4	4	4	3,5	4
5	4	3	3	4	3	3	4
4,5	4	2	3	5	5	3	3
3	3	3	4	4	4	4	4
3,5	4	3	3	3	3	2	2
4	3	5	5	3	4	5	5
2,5	3	3	3	4	3	3	4
3	4	3	4	3	3	4	4
4	4	3	4	3	4	3	3
2	2	3	4	4	3	3	3
4,5	5	3	3	4	4	3	2
3	3	3	4	2	3	3	3
2,5	3	3	3	5	5	4	4
		3	4	3	4	4	4
		4	4	4	3	3	3
		3	3			4,5	4

Для оценки тесноты связи подсчитан коэффициент парной корреляции между этими двумя величинами по формуле:
251
R ₌ izl
^{4 y} , где: n - число участников эксперимента;
' ^7l - отклонения измеряемых величин от соответствующих сред­них;
сг_чсг
^у - среднеквадратичные отклонения.
Для данных, приведенных в таблице 8, коэффициент корреляции R_xy оказался равным 0,91(1-я серия), 0,83 (2-я серия), 0,86 (3-я серия), 0,91 (4-я серия). Близость коэффициента корреляции к единице указывает на сущест­вование линейной связи между прогнозируемой по величине В отметкой и реальной традиционной отметкой. Это значит, что полученные в ходе работы оценки по диагностикам линии можно использовать для прогнозирования ре­зультатов итоговых контрольных работ.
Вывод: метод теста-ретеста может быть использован и для прогнози­рования подготовки учащихся.
Все вышеприведенные рассуждения и экспериментальные данные имеют смысл в том случае, если предлагаемый в настоящей работе «инстру­мент» позволяет получать надежные (воспроизводимые) оценки. В этой связи возникла задача исследования тестов-ретестов на надежность.
Так как целью вторичного тестирования по нашему методу являлось выявление новообразований у учащихся, то для проверки надежности тесто­вых оценок потребовался другой метод, отличный от n-кратного тестирова­ния. Для оценки надежности оценок учащихся по методу теста-ретеста нами был применен метод деления на две части пунктов теста [119], применяемый в психологии. Причем деление проводилось по четным и нечетным пунктам теста. Нами были оценены надежности тестовых оценок по трем тестам-
252
ретестам № 1, 2, 3 (темы: «Квадратные корни», «Квадратные уравнения», «Квадратичная функция»).
Проверка воспроизводимости эксперимента состоит в проверке равенства дисперсий :
Д(Уі}= ДЫ= Д{Уз}= - = Д{У_Р}, где: р - число опытов каждой серии.
Задача проверки на воспроизводимость (надежность) называется также проверкой однородности выборочных дисперсий.
Выполнение гипотезы об однородности дисперсий означает воспроизво­димость опытов с равной точностью. Для проверки этой гипотезы обычно используется критерий Кочрена. Сначала вычисляется наблюдаемое значение критерия:
р
_I
Онабя. = (max (Дп(Х)}) / "і ДОС).
Затем по таблице для П]=п-1 (п - это число опытов в серии), п₂=р (р -это число серий опытов) и выбранного уровня значимости (обычно 5%) нахо­дится критическое значение (G^mO критерия. Если Онабл^Офиг., то гипотеза об однородности дисперсий принимается, в противном случае отбрасывается. Если результат оказался отрицательным, то остается признать невоспроизво­димость эксперимента вследствие влияния неуправляемых и неконтролируе­мых факторов.
В нашем случае деление теста на две части можно рассматривать как проведение двух опытов в серии. Это значит, что число п=2. Число серий опыта равно числу учащихся, принявших участие в тестировании, то есть р>20. Найденное по таблице критическое значение критерия Кочрена (Окркг.) для этих параметров оказалось равным 0,3894. Наблюдаемые значения кри­терия (G_Ha6n.) оказались равными: 0,3006 (тема «Квадратные корни»), 0,2631 (тема «Квадратные уравнения»), 0,2353 (тема «Квадратичные функции»).
253
Во всех случаях Онабл.^Окриг., а это значит, что гипотезу о воспроизво­димости (надежности) результатов тестирования не следует отбрасывать. С этой точки зрения тестовые оценки являются достаточно надежными.
Адресная модель
Апробация модели проводилась в среднем звене - в 6-х классах МОУ №188 в 1998-1999 учебном году на примере обучения русскому языку.
В настоящем исследовании, как и в предыдущем, артефакты - кумуля­ция эффектов «плацебо» и Хотторна, стимулирующих познавательную ак­тивность, нами не подавлялись. Эксперимент проводился по плану:
К 0,О_гА_хО_ъА_гО,А_гО_ьО_ь
R" 0,А0₆ , где: . .!
R' - эксперимент, Oi - нулевой срез, Об - заключительный срез, 0₂₎ О_э, О4, О5 - тестирования, А\, А₂, А₃, Ад, А₅ - обучение с регулированием, А -обучение, R" - контроль.
План выбран для оценки эффективности учебной работы с диагности-ко-регулировочной линией.
Учащиеся экспериментальной и контрольной групп выбирались исходя из условия: общая успеваемость учащихся экспериментальной группы долж­на быть существенно ниже успеваемости контрольной группы. При этом в качестве рабочей гипотезы было взято предположение: использование диаг-ностико-регулировочной линии «Адресная модель» способствует повышению общей успеваемости учащихся.
Гипотеза считалась подтвержденной, если после использования линий различия в средних показателях успеваемости становились статистически не­существенными на уровне значимости а=0,05.
При составлении инструментов линии использовались различные мето­ды тестовых измерений.
254
В тесте №1 использован метод одного стимула, когда индивид отвечает на вопрос или «да», или «нет».
Тесты №2 и №3 - комбинированные, в них использованы метод одного стимула, метод пробелов и метод выбора.
Испытания модели заключались в проверке:

333. 
     свойства эквифинальности, т.е. достижения уровня усвоения нового материала не ниже 70% при начальном уровне усвоения 50%;
     
334. 
     предположения о повышении общей успеваемости по изучаемой дисциплине при условии использования в обучении рассматривае­мой диагностико-регулировочной линии;
     
335. 
     возможности фиксирования трудностей учебного материала и выра­ботки стратегии их преодоления.
     

Результаты испытания показали следующее.
1. Свойство эквифинальности. При расчете адресной модели мы пола­гали, что три блока тестов диагностики и индивидуальной коррекции помогут поднять коэффициент усвоения учебного материала с 0,5 до 0,7.
Для проверки этого предположения (гипотезы) в ходе апробации были подсчитаны коэффициенты усвоения материала без индивидуальной отра­ботки (без адресной коррекции) и с индивидуальной отработкой.
Без адресной отработки коэффициент усвоения, определенный как ча­стное от деления суммарного балла по всем тестам инвариантной части на максимальное число баллов линий, изменялся в пределах от 0,58 до 0,85. Ад­ресная отработка (коррекция) привела к изменению диапазона изменения этого коэффициента - от 0,76 до 1,00. Средние значения коэффициентов составили 0,71 и 0,9, соответственно.
Статистическая нуль-гипотеза о средних имеет следующий вид: «Средние значения коэффициентов усвоения при обучении с адресной кор­рекцией и без таковой не различаются». Проверка этой гипотезы осуществля­лась с привлечением критерия Стъюдента путем сравнения
255
І 0,90-0,71 І и W=t_asV«. Абсолютная разность средних значений равна 0,19.

₂ 0,1169 ₂ 0,0705 К + о-,² _nn„
or.² =- , cxl=- , s = J-! ^-=0,07
¹ 19 19 V 2
ґ_а = 2,02 для f = 38 и a = 0,05 ^ = 2,02 • 0,07 -Vb7 = 0,045
0,~19>0,045.
Это значит, что нуль-гипотезу следует отвергнуть и принять альтерна­тивную: «Средние значения коэффициентов усвоения различаются при сте­пени свободы m на уровне значимости а=0,05».
Из сказанного следует вывод, что адресная модель линии диагностики и регулирования обладает свойством эквифинальности. Она помогла поднять уровень усвоения учебного материала в экспериментальной группе учащихся в среднем с 0,71 до 0,90. Знания учащегося с коэффициентом 0,58 (традици­онная отметка «2») при использовании модели удалось улучшить до коэф­фициента 0,76 (традиционная отметка «3»), что соответствует расчетам, при­веденным в третьей главе исследования.