Аспекты построения

Содержательная валидность методики измерений определя- ется тем, что ее составляющие признаки охватывают те области информации и деятельности, в которых проявляется измеряемое свойство. Содержательная валидность не оценивается количест- венно и достигается путем составления качественной схемы сбора необходимой информации.
Конструкционная валидность указывает на то, в какой степени диагностическая методика отражает то составное свойство, для опре- деления которого оно предназначено, и определяется, во-первых,
теоретическим содержанием признаков, во-вторых, их внутренней согласованностью. Конструкционная валидность требует, возможно, более полного накопления информации об измеряемом свойстве.
Конкурентная валидность определяется с помощью внешне- го критерия, по которому информация собирается одновременно с проверяемой методикой. Она показывает возможность замены од- ной диагностической методики другой.
Прогностическая валидность также определяется по внеш- нему критерию, но информация по этому критерию собирается некоторое время спустя после применения проверяемой методики. Перекрестная валидность выявляется сопоставлением ре- зультатов измерения на некоторой выборке, с результатами изме- рения на новой выборке испытуемых из этой же генеральной со-
вокупности.
Приведем в заключение пример из книги В.И. Михеева [268, с. 20]. «Соотношение между надежностью и валидностью лучше представить аналогией с часами: часы могут иметь точный (на- дежный) ход, но, будучи поставленными на неверный час, они не- пригодны (невалидны) для получения ответа на главный вопрос — который час?».
При анализе результатов педагогического эксперимента сле- дует иметь в виду два важных момента. Во-первых, возможную нестабильность результатов, наблюдаемых на различных экспери- ментальных срезах. В зависимости от особенностей эксперимен- тального фактора эффект может проявиться сразу после его введе- ния в образовательный процесс, либо «накапливаться» и обнару- житься со временем. Во-вторых, необходимо учитывать известные факторы, снижающие валидность эксперимента. Традиционно к ним относят [217]:

1. 
   фон — всевозможные влияния окружающей среды на экспе- риментальные мероприятия; при этом, чем больше временной про- межуток между экспериментальными срезами, тем выше вероят- ность, что полученные изменения произошли не в результате введе- ния экспериментального фактора, а в результате фоновых влияний (естественного развития испытуемых, смены времени года, происхо- дящих событий, изменения контингента обучающихся и т.д.);
   
2. 
   эффект тестирования — приспособление к условиям проведения эксперимента, который наблюдается при повторных аналогичных испытаниях: как правило, испытуемые демонстри- руют лучшие показатели, если им знаком способ проверки;
   
3. 
   инструментальная погрешность — изменения, происхо- дящие со способами оценки или с самим исследователем: между экспериментальными срезами могут измениться эталоны оценок (например, при проверке сочинений); накопиться опыт исследова- теля по проведению экспериментальных мероприятий, что обеспе- чит более качественное оценивание; исследователь лучше узнает участников эксперимента, что может стать главной причиной по- лучения других данных на повторном срезе и т.д.;
   
4. 
   эффект статистической регрессии — тенденция к сред- нему значению, при которой наблюдаются значительные улучше- ния у испытуемых, показавших на начальном срезе худшие ре- зультаты, на фоне практически не меняющихся результатов луч- ших учащихся: это может наблюдаться при отсутствии корреляции между результатами экспериментальных срезов в группах, вы- бранных на основе крайних показателей.
   

Основные источники невалидности рассмотренных выше экспериментальных планов представлены в табл. 5 (с. 186).
Важно отметить, что оценка экспериментальных воздействий всегда строится на сравнении и сопоставлении. Поэтому необхо- димо так организовать исследование, чтобы получились сравни- мые, сопоставимые результаты. Всякое педагогическое исследова- ние может быть успешно проведено только тогда, когда разрабо- таны точные критерии учета и оценки его результатов. Обычно весь собранный в ходе исследования эмпирический материал (про- токолы наблюдений, диагностирующие работы, анкеты, конспекты уроков и пр.) подвергаются качественному анализу, который по- зволяет сделать первоначальные обобщения. Но для того чтобы обеспечить объективный характер теоретическим выводам иссле- дования, необходимо качественный анализ сочетать с количест- венной обработкой полученных материалов.
Таблица 5

Источники внутренней невалидности экспериментальных планов^*

Наименование плана	Источники внутренней невалидности
	Фон	Эффект тестирова- ния	Инструмен- тальная по- грешность	Эффект ста- тистической регрессии
План с предварительным и итоговым оцениванием на одной группе С1 Х С2	–	–	–	?
План временных серий С1 С2 С3 С4 Х С5 С6	+	+	?	+
План серий временных выборок ХС1 С2 ХС3 С4 ХС5 С6	+	?	?	+
План с тестированием только после воздействия ЭГ Х С КГ С	+	+	+	+
План с предварительным и ито- говым оцениванием и одной экспериментальной группой ЭГ С1 Х С2 КГ С1 С2	+	+	+	+
План с предварительным и итоговым оцениванием и не- сколькими эксперименталь- ными группами ЭГ1 С1 Х С2 ЭГ2 С1 Х С2 ЭГ3 С1 Х С2 … КГ С1 С2	+	+	+	+

^* Материал взят из книги Д. Кэмпбелла «Модели экспериментов в социальной психологии и прикладных исследованиях» [217]. В таблице использованы следую- щие обозначения: «–» — безусловная слабость экспериментального плана; «+» — фактор находится под контролем; «?» — возможность некоторых осложнений.

План с несколькими кон- трольными срезами и экспе- риментальными группами ЭГ1 С1 Х С2 Х С3… Х Сn ЭГ2 С1 Х С2 Х С3… Х Сn ЭГ3 С1 Х С2 Х С3… Х Сn … КГ С1 С2 С3 … Сn	+	+	+	+
План Соломона для четырех групп ЭГ1 С1 Х С2 КГ1 С1 С2 ЭГ2 Х С2 КГ2 С2	+	+	+	+

Таким образом, верификация педагогической концепции, яв- ляясь ее обязательным компонентом, сводится к получению эмпи- рических данных, свидетельствующих об истинности теоретиче- ских положений, и реализуется в условиях педагогического экспе- римента с привлечением квалиметрического аппарата.