В. Н. Дружинин экспериментальная психология

С_j характеризует вероятность правильного ответа на задание j в том случае, если испытуемый угадывал ответ, а не решал задание, т.е. при  —> 0. Для заданий с пя­тью вариантами ответов С_j становится более пологой, так как 0 < С < 1, но при всех С= 0 кривая поднимается над осью  на величину С_j . Тем самым даже самый неспо­собный испытуемый не может показать нулевой результат. Дифференцирующая сила тестового задания при введении параметра С_j снижается. Из этого следует не­тривиальный вывод: тесты с «закрытыми» заданиями (вынужденным выбором ответа) хуже дифференцируют испытуемых по уровням свойства, чем тесты с «открыты­ми» заданиями.
Модель Бирнбаума не объясняет парадоксального, но встречающегося в практи­ке тестирования феномена: испытуемый может реже выбирать правильный ответ, чем неправильный. Таким образом, частота решения некоторых заданий может не соответствовать предсказаниями модели Р_j < С_j, тогда как, согласно модели Бирн­баума, в пределе Р_j = С_j.
Рассмотрим еще одну модель, которую предложил В. С. Аванесов. Как мы уже заметили, в IRT не решается проблема валидности: успешность решения задачи за­висит в моделях IRT только от одного свойства. Иначе говоря, каждое задание теста считается априорно валидным.
Аванесов обратил внимание на это обстоятельство и ввел дополнительный, чет­вертый, параметр, который можно обозначить как внутреннюю валидность задания. Успешность решения задания определяется не только «основной» способностью (), но и множеством условий, нерелевантных заданию, однако влияющих на деятель­ность испытуемого.
Четырехпараметрическая модель представляет, по мнению ряда исследователей, лишь теоретический интерес:

где _j — валидность тестового задания.
Если _j > 1, то тест не является абсолютно валидным. Следовательно, вероят­ность решения задания не только определяется теоретически выделенным свой­ством, но и зависит от других психических особенностей личности.
Бирнбаум считает, что количество информации, обеспеченное j-м заданием тес­та, при оценивании q_j является величиной, обратно пропорциональной стандартной ошибке измерения данного значения q_j j-м заданием. Более подробно вычисление информационной функции рассмотрено в работе М. Б. Челышковой [Челышкова М.Б., 1995].
Многие авторы, в частности Пол Клайн [Клайн П., 1994], отмечают, что IRT об­ладает множеством недостатков. Для того чтобы получить надежную и не зависи­мую от испытуемых шкалу свойств, требуется провести тестирование большой вы­борки (не менее 1000 испытуемых). Тестирование достижений показывает, что су­ществуют значительные расхождения между предсказаниями модели и эмпиричес­кими данными.
В 1978 г. Вуд [цит. по: Клайн П., 1994] доказал, что любые произвольные данные могут быть приведены в соответствие с моделью Раша. Кроме того, существует очень высокая корреляция шкал Раша с классическими тестовыми шкалами (около 0,90).
Шкалирование, по мнению Раша, способно привести к образованию бессмыслен­ных шкал. Например, попытка применить его модель к опроснику EPQ Айзенка по­родила смесь шкал N, Е, Р и L.
Главный же недостаток IRT — игнорирование проблемы валидности. В психоло­гической практике не наблюдается случаев, когда ответы на задания теста были бы обусловлены лишь одним фактором. Даже при тестировании общего интеллекта модели IRT неприменимы.
Клайн рекомендует использовать модели IRT для коротких тестов с валидными заданиями (факторно простые тесты).
В пособии Клайна «Справочное руководство по конструированию тестов» (Киев, 1994) приведен алгоритм конструирования тестов на основе модели Раша.
В заключение рассмотрим вероятностную модель тестов «уровня» Ф. М. Юсупо­ва [Дружинин В. Н., 1998], аспиранта лаборатории психологии способностей Ин­ститута психологии РАН. Его модель разработана для тестов с «закрытыми» задани­ями (выбором ответов из множества), различающимися по уровню трудности. В «закрытых» тестах испытуемый может применить стратегию «угадывания» отве­та. Вероятность угадывания

где т — число альтернатив.
Сложность тестового задания

где п — число испытуемых, способных решить задание, N — общее количество ис­пытуемых в выборке валидизации.
При W < Р невозможно определить, решена задача случайно или закономерно. Предполагается, что биноминальное распределение вероятности успешного выпол­нения тестового задания при больших N аппроксимируется нормальным.
Должны выполняться следующие условия:
1. Правильный ответ выбирается неслучайно, если:
— его экспериментально полученная частота больше 1 /т;
— это превышение статистически значимо;
— оценивать его можно с помощью t-критерия Стьюдента.
2. Все ложные варианты ответов должны выбираться не чаще, чем случайные:
q = n_j/N  1/m,
где п_j — частота выбора неверного ответа.
Тем самым тестовое задание стимулирует испытуемого к выбору правильного от­вета.
3. В тестах «уровня» диапазон изменения показателя сложности 0  W  1 должен быть уменьшен «слева» на величину W', значимо отличающуюся от W, в которой t = t_кр. (t — критерий Стьюдента). Чем больше вариантов ответов в тесте, тем меньше Wu шире область допустимых значений показателя сложности тестово­го задания. Например, для N = 100,  = 0,05 (t_кр = 1,90) и 10 > т > 3 расчет по­казывает, что уже при т > 6 скорость расширения области значений показателя сложности значимо замедляется. Поэтому рекомендуется выбирать 6–10 вари­антов ответа.
В тесте «уровня» число градаций сложности и число заданий связано. Чем точ­нее оценка свойства, тем больше число градаций. Но это влечет снижение достовер­ности измерения, так как длина теста (число заданий) ограничена. Уменьшение чис­ла градаций приведет к нивелированию различий между испытуемыми.
Предельно возможное число заданий в тесте выбирается при условии, что разли­чие в уровне их сложности гарантируется с выбранной вероятностью.

Поскольку дисперсия биноминального распределения максимальная в центре ин­тервала 0—1 и уменьшается к периферии до 0, шаг градаций сложности на разных участках этого интервала будет различным: на периферии он должен стремиться к нулю.
Удобно принять в качестве шага градации сложности 1/10 интервала. Для  = 0,05, N = 100 получается 7 значений показателя сложности, что при шаге, рав­ном 0,1, гарантирует различение между уровнями с вероятностью 0,9.
Если учесть условие минимизации случайного выбора правильного ответа, то число градаций сложности должно быть еще меньше. Например, при 6 вариантах ответа число заданий разного уровня сложности не может быть больше 6.
Эти выводы верны в том случае, если биноминальное распределение аппрокси­мируется нормальным распределением. При большом числе испытуемых такая ап­проксимация возможна.
Расчеты показывают, что минимально необходимый объем выборки для апроба­ции тестовых заданий не так уж и велик — 56 человек при достоверности 0,9.
Следовательно, исходя из вероятностной модели теста и не прибегая к допуще­ниям о моделях тестирования, можно рассчитать параметры теста как предельные характеристики, обеспечивающие достоверность измерения.
Вопросы
1. Какие основные типы шкалы используются в психологических исследованиях?
2. В чем состоят отличия классической модели теста от теории выбора ответа (IRT)?
3. Что такое «логит»?
4. Каким должно быть число уровней трудности заданий в тесте?
5. В каких случаях применяется шкалограммный анализ?