Технологии валидизации Задание Оценка конструктной валидности

Методические указания
Процедура работы. Обработка результатов. В качестве исследуе­мого опросника выбран «Опросник ФДСИ» В. М. Русалова. Этапы проведения работы. Выбор валидных методик с близким по содержа­нию конструктным материалом. В качестве такого валидного опрос­ника выбран опросник для выявления черт характера Р. Кэттелла.
Проведение опроса на одной и той же выборке респондентов.
Обработка результатов. Получение первичных показателей по шка­лам опросников.
Расчет корреляций шкал первого опросника со всеми шкалами вто­рого опросника (с использованием компьютерных стандартных ста­тистических программ или электронных таблиц «Excel»).
Формирование корреляционной таблицы (матрицы взаимных корреляционных связей всех шкал первого и второго опросников).
Для каждой шкалы тестируемого опросника проводится выявление шкал базового опросника, с которыми имеются значимые корреляции (с доверительной вероятностью меньше 0,05). Психологический кон­структ по шкалам, с которыми выявлены такие корреляции, принима­ется в качестве конструкта для исследуемой шкалы опросника.
Обсуждение результатов. Осуществляется сравнение теоретиче­ски предполагаемого конструкта исследуемого опросника с конструк­том, полученным в ходе исследования. При этом делаются три возмож­ных вывода.

• 
  Теоретический конструкт совпадает с реальным.
  
• 
  Теоретический конструкт не совпадает с реальным (при наличии корреляции).
  
• 
  Вообще отсутствуют корреляции данной шкалы со шкалами ба­зового опросника.
  

Задание 2. Оценка критериальной валидности
Введение. Валидность критериальная — отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого яв­ления. Включает текущую и прогностическую валидности.
Критерии валидности — уровень достижений, степень развития способностей, выраженность определенного свойства личности и т. д.
Результаты теста сопоставляются с экспертными опенками коллег, руководителей, учителей, мнения педагогов о знаниях, с контрольны­ми проверками, объективными показателями достижений.
В большинстве процедур по валидизации имеет место внешний критерий. Обычно им является знакомый и очевидный индикатор психической характеристики, для определения которой мы и созда­ем метод.
Критерием чаще всего бывают проявления изучаемой характери­стики в повседневной жизни. Однако это должны быть такие дан­ные, которые сами но себе не могут заместить метод, иначе было бы бессмысленным финансировать создание метода. Достаточно было бы в качестве метода использовать сам критерий. В патопсихологии критерием является диагноз врача. В промышленности — количество аварий, количество поощрений или изобретений, оценка со стороны начальства или стратометрический выбор со стороны подчиненных или сотрудников по отношению к научаемому аспекту исполнения или поведения. В школе критерием является оценка успеваемости и по­ведения.
Нахождение подходящего и легкодоступного критерия принадлежит к важнейшим и сложнейшим задачам валидизации. Многие хорошие методы были изъяты лишь потому, что не удалось найти адекватный критерий для их проверки. Сомнительные данные по валидизации на­ходим, например, при некоторых опросниках, и не потому, что опрос­ники являются невалидными, а потому, что трудно найти подходящий критерий, соответствующий тому, что опросник выявляет. Р. Мейли [179] указывает на факт, что опросники выявляют поле проявления изучаемой характеристики, в то время как шкалы оценок, с помощью которых чаще всего осуществляется валидизация опросников, выяв­ляют интенсивность изучаемой характеристики. Но тогда коэффици­ент валидности оказывается ниже, чем он есть на самом деле.
Выбранный критерий может релевантно выражать лишь определен­ный компонент личностной структуры, причем другой критерий вы­ражает уже-следующий аспект. На этой основе — кроме иных факто­ров — может возникнуть разногласие между различными авторами при определении валидности (слепая валидизация).
Мы уже отмечали, что критерий должен быть очевидным, объек­тивно надежно и легко определимым и по возможности репрезента­тивным показателем изучаемой характеристики. Критерием может служить и ранее проверенный практический тест или общепринятая хорошая теория.
Критерием может служить и возраст — при условии, что с возра­стом регулярно повышаются или снижаются показатели изучаемого явления: иными общеопределенными критериями являются: пол, ди­агноз врача, отметка в школе, далее, например, разделение испытуемых на «имеющих» и «не имеющих» определенную характеристику, рас­пределение испытуемых по степени выраженности (от максимума до минимума) изучаемой характеристики, применение техники «угадай, кто» и т. п.
Критерии можем разделить в зависимости от того, касаются ли они преимущественно достижений деятельности или постоянных харак­теристик и объективных обстоятельств.
Группу деятельностных критериев представляет, например, производительность, выраженная в количестве продуктов, далее качество результата труда, заработок, время, необходимое на овладение деятельностью, и т. д.
К постоянным и объективно данным критериям можно отнести: возраст, пол, количество пропусков на работе, время пребывания на одной работе (па предприятии), текучесть кадров, несчастные случаи, повторение курса обучения, излечение и т. п.
Во многих случаях поэтому целесообразно дихотомизировать зна­чение критерия пли разделить его на соответствующее количество сте­пеней. Однако дихотонизацию нельзя механически проводить по ме­диане. Ведь мы не знаем, каким на самом деле является распределение значений критерия в исследуемой выборке.
Целесообразно, например, в категорию «имеет характеристику» вклю­чить 80 % испытуемых со значением критерия от максимума по уро­вень, соответствующий 21 %, а в категорию «не имеет характеристи­ку» включить оставшихся 20 % лиц и т. п.
Валидность выражает практическую полезность теста, его диагно­стическую и прогностическую силу и возможность его использования в определенных целях. Естественно, в процессе систематического изу­чения отношений между результатами тестирования и различными критериями мы убеждаемся, что адекватность теста зависит от ис­следовательских целей. Тест имеет столько валидностей, сколько имеется критериев. Определенный тест интеллекта является, напри­мер, отличным инструментом для определения вербальной находчи­вости, но он мало годится для определения способности мысленного сопоставления.
Почти каждый тест предоставляет нам несколько различных диаг­ностических показателей (например, диагностическими показателя­ми в тесте зеркального рисования являются: время, нажим, количе­ство срывов, скорость обучения и т. п.). Поэтому требуется определить валидность диагностических показателей по отдельности, или опре­делить общую валидность всего теста в целом.
Валидизация по какому-либо критерию эффективно осуществля­ется методом контрастных групп. При этом, как правило, используют сложный критерий, в котором отражено комплексное влияние различ­ных факторов.
Другой способ оценки критериальной валидности — анализ корре­ляции между оценками по тесту и внешним критерием.
Предсказательная валидность может отражать как соответствие прогноза, сделанного на основании данного теста, с реальным состоя­нием изучаемого качества спустя некоторое время, так и временной интервал, в котором результат теста является валидным.
Валидизация может осуществляться на основе критерия, отража­ющего событие или состояние качества в прошлом (ретроспективная валидизация).
Методические указания
Процедура работы. Обработка результатов. Валидизация осуще­ствляется методом контрастных групп. При этом в качестве крите­рия используется одно из личностных качеств, выявленных в разделе 10.1, например, «общительность — замкнутость», фактор А по опрос­нику Р. Кэттелла. Подбирается группа студентов с высокими бал­лами по данной шкале и группа студентов с низкими (полярными) баллами, т. е. с выраженным или невыраженным исследуемым каче­ством.
Данные группы проходят тестирование по новой методике, крите­риальная валидность которой исследуется. Рассчитывается среднее значение балла, полученного в первой и второй группах, и оценивается доверительная вероятность полученного различия между этими двумя средними. Оценка осуществляется при помощи статистического те­ста — t-критерия Стыодента.
Обсуждение результатов. Если доверительная вероятность мень­ше 0,05, то делается вывод, что различия между двумя средними до­стоверны, и новая методика в связи с этим обладает критериальной валидностью, т. е. диагностирует степень выраженности того психоло­гического качества, по которому она проверялась.