Таблица 6
Оценщики
Испытуемые
О
1
О
2
…
О
k
И
1
x
11
x
12
…
x
1k
C
1
И
2
x
21
x
22
x
2k
C
2
…
И
n
x
n1
x
n2
x
nk
C
n
Методы анализа данных, содержащихся в такой таблице, формально совершенно эквива-
лентны тем методам, которые применяются для обработки таблиц «испытуемые - пункты» (см.
раздел 3.1), В частности, суммы по строкам дают суммарные баллы, полученные каждым испы-
туемым у всех оценщиков. Таким образом, оценщики в данном случае оказываются формально в
роли пунктов теста. Рассчитывая попарные корреляции между различными столбцами этой таб-
лицы, можно получить коэффициенты согласованности для отдельных пар оценщиков. Глобаль-
ной мерой согласованности оценщиков может служить коэффициент надежности а Кронбаха -
см. формулу (3.2.8).
Если же групповая оценка не обнаруживает надежности, то она не может использоваться в
качестве критерия валидизации при проверке валидности теста.
Эмпирическое значение коэффициента валидности рассчитывается как линейная или ран-
говая корреляция между двумя рядами значений: тестовыми баллами и суммарными баллами
экспертной оценки. Это эмпирическое значение при наличии невысокого коэффициента надеж-
ности критерия корректируют по формуле
c
a
cx
r
tx
r
(3.3.1)
где
cx
r
- эмпирическая корреляция с критерием;
а
с
— надежность критерия;
r
tx
- корреляция с «истинным» критерием («истинная» валидность теста).
Анализ пунктов по критерию валидности. Валидность всего теста целиком зависит от ва-
лидности входящих в него пунктов. Максимальная валидность достигается за счет отбора таких
пунктов из пилотажной батареи, которые, обладая значимой корреляцией с критерием, мини-
76
мально коррелируют между собой. Отбор пунктов именно по критерию валидности обеспечивает
максимальную прагматическую эффективность теста. Вручную (на калькуляторе) такой отбор
можно произвести, рассчитав бисериальную корреляцию (или фи-корреляцию) критерия с каж-
дым пунктом из пилотажной батареи, - см. формулы (3.2.15) и (3.2.17). Компьютер позволяет ис-
пользовать более эффективный алгоритм, основанный на анализе частных корреляций между
критерием и пунктами и предполагающий построение уравнения множественной регрессии
(Аванесов В. С., 1982, с. 153-157). В результате в таком уравнении каждый пункт получает весо-
вой коэффициент
1
, количественно выражающий его вклад в критерий, не сводимый к вкладу
других пунктов, т. е. поиск оптимального набора пунктов автоматизируется. X. Гаррет приводит
следующую яркую иллюстрацию эффективности алгоритма, позволяющего подобрать оптималь-
ный набор пунктов. Пусть имеется 20 пунктов, каждый из которых имеет корреляцию с критери-
ем порядка 0,30. Оказывается, если эти пункты в среднем коррелируют друг с другом на уровне
ij
r
= 0,60, то множественная корреляция суммарного тестового показателя с критерием равняет-
ся 0,38, если же г
а
= 0,30, множественная корреляция повышается до 0,52. Наконец, при r
tj
= 0,10
эффективность (валидность) теста достигает весьма высокого уровня: 0,79. Те же самые пробле-
мы возникают при подборе оптимальной батареи тестов, направленных на прогнозирование ка-
кого-то одного социально ценного показателя (успеваемость, производительность труда и т. п.).
Как уже указывалось в разделе 3.1, тест, обладающий высокой критериальной валидностью
должен давать монотонную зависимость величины критерия от тестового балла (см. рис. 6). Для
того чтобы получить монотонную линию регрессии, психодиагност должен включить в тест X
только такие пункты, которые являются валидными по критерию С. В противном случае на кри-
вой неминуемо появятся провалы
2
. Крутизну линии регрессии можно существенно повысить за
счет нацеленного отбора из первоначальной батареи только таких заданий, которые обладают
значимо высокой корреляцией (или регрессионным коэффициентом в уравнении множественной
регрессии) с критерием.
После отбора валидных пунктов должна быть произведена перекрестная валидизация (см.
Анастази А., 1982, с. 197). В чем ее смысл? Если при анализе корреляций между батареей из 200
заданий и каким-то критерием получают 10 заданий, значимо коррелирующих е критерием на
уровне ошибки р < 0,05, то это может быть следствием чисто случайного совпадения (сравните
10/200=0,05). Чтобы убедиться в том, что отобранные пункты теста действительно могут разли-
чать (или прогнозировать) критерий, нужно рассмотреть, как коррелируют с критерием эти пунк-
ты на другой выборке, которая не использовалась при их отборе.
Простой метод реализации принципа перекрестной валидизации состоит в том, что вся вы-
борка делится на две случайные половины и производится раздельный расчет корреляций пунк-
тов с критерием для-. каждой половины выборки. Если выделенные (значимые) пункты совпада-
ют, то перекрестную валидизацию можно считать удачной.
Метод критериального тестирования очень трудоемок. .Практически невозможно постро-
ить критериальный тест за счет одной статистики, сколь бы мощными выборками и батареями
заданий мы ни располагали. Необходима работа над содержательной валидностью заданий. Кри-
териальное тестирование имеет ограниченное применение в задачах построения методик с широ-
кой областью применения.
Следует еще раз подчеркнуть, что анализ валидности отдельных пунктов служит не только
1
Этот весовой коэффициент и используется как ключ к данному пункту в новой, скорректированной версии теста.
2
Некоторые незначительные локальные провалы при наличии общей высокой регрессии (высокий контраст крайних
Р от X) можно устранить, увеличивая интервал равнозначности.
77
прагматическим целям, но может и должен служить целям углубления представлений о содержа-
тельно-теоретическом смысле измеряемого свойства: на основании содержательного анализа
пунктов, отобранных по критерию, психолог уточняет и корректирует свою первоначальную
теоретическую схему, свое понимание измеряемого свойства.
Достоверность самоотчета. Рассматривая общую проблемы валидности целесообразно вы-
делить вопрос об обеспечении валидности процедур стандартизованного самоотчета. Сюда отно-
сятся различные техники шкалирования, классифицирования, сравнения и тест-опросники. Вер-
бальная форма тестового материала порождает у испытуемого определенные встречные гипоте-
зы о цели тестирования. Если ситуация диктует испытуемому необходимость фальсификации
ответов, то он редко отказывается от этой возможности.
Валидность — характеристика любых измерений, в том числе и физических. Специфиче-
ские проблемы валидности, связанные с активностью человека как объекта психодиагностики,
целесообразно обозначить особым образом - проблемы обеспечения достоверности.
Психологические факторы, от которых зависит достоверность самоотчета, условно можно
сгруппировать в следующие классы:
1. Факторы знания. У испытуемого может быть более или менее четкое представление о
следующем: а) свойственно ли ему в действительности или нет тестируемое поведенческое про-
явление (с некоторыми ситуациями, имплицитно подразумеваемыми в вопросе тест-опросника,
испытуемый мог на практике никогда не встречаться: например, утверждение «После выигрыша
в спортлото Вы покупаете больше лотерейных билетов» подразумевает, что испытуемый, во-
первых, играет в спортлото и, во-вторых, выигрывает); б) какое личностное свойство скрывается
у психолога за тем или иным конкретным поведением, описанным в суждении; в) как это свой-
ство соотносится с общепринятыми моральными нормами и признаками социального успеха.
2. Фактор социальной желательности. Обозначает тенденцию испытуемого давать о себе
социально одобряемую информацию. Сила этой тенденции зависит как от общей внеситуативной
установки испытуемого на морализацию «Я-образа» и социальную успешность, так и от того,
насколько эту установку актуализирует сама ситуация тестирования. Однако эта тенденция не
будет давать систематического искажения, если испытуемые не смогут разгадать направленность
теста-опросника и связать диагностируемое свойство с тем или иным полюсом социальной жела-
тельности. Таким образом, действие этого фактора до некоторой степени опосредовано действи-
ем факторов знания. Однако при диагностике личностных свойств, тесно связанных с психиче-
ской «нормальностью» или «социальной успешностью», фактор социальной желательности отве-
та обусловливает очень серьезные искажения.
3. Факторы индивидуальной тактики. Здесь подразумевается действие «Я-концепции» («Я»
для себя) и «Я-образа» («Я» для других) на ситуативную тактику испытуемого в момент тестиро-
вания. Выполняя тест, испытуемый всегда находится в невольном диалоге с самим собой и в
своих ответах на вопросы раскрывает себя не только для других, но и для себя самого. Испытуе-
мый стремится подтвердить «Я-концепцию» или фальсифицировать определенный «Я-образ» с
заданными свойствами. Как правило, в ситуациях высокого социального риска «Я-образ» полно-
стью доминирует: например, преступник при экспертизе стремится прежде всего предстать
больным или неприспособленным к жизни, хотя в действительности ему было бы приятно ду-
мать о себе как о вполне адаптированном здоровом человеке. Точно так же склонны подчерки-
вать свои трудности и проблемы клиенты, обратившиеся за помощью к психологу или психоте-
рапевту (чтобы вызвать к себе его повышенное внимание). В менее регламентированных ситуа-
циях, наоборот, может доминировать мотивация самопознания: в этом случае испытуемый не-
вольно стремится подтвердить с помощью теста свои гипотезы о самом себе.
Заслуживают внимания и особые формы отказа испытуемого от тестирования: позицион-
78
ный стиль ответа (соглашательство или, наоборот, отрицание), случайные ответы. Для выявления
подобных отказов обычно достаточно довольно простых мер: 1) для исключения влияния согла-
шательства (отрицания) применяются перечни с «прямыми» (ответ «верно» в пользу измеряемо-
го свойства) и «обратными» (ответ «неверно» в пользу измеряемого свойства) пунктами. Кроме
того, производится подсчет баланса подтверждающих и отвергающих ответов: если баланс резко
нарушается, то протокол признается бракованным; 2) для выявления случайных ответов в боль-
шие перечни вводят вопросы-дубли (синонимические перефразы) или прямые повторы: если ис-
пытуемый слишком часто по-разному отвечает на одинаковые вопросы, значит, он применяет
случайную тактику. Вводят также и крайне редкие утверждения, с которыми испытуемые, как
правило, соглашаются только по ошибке.
Более изощренные методы требуются для борьбы с социальной желательностью. Ниже рас-
смотрены три наиболее часто используемых варианта.
1. Введение особых «шкал лжи» в диагностический вариант методики. Они составляются
из вопросов-ловушек: тот или иной ответ на эти вопросы явно предопределен социальной жела-
тельностью. Если испытуемый набирает слишком высокий балл по этой шкале, его протокол
бракуется. Более тонкий вариант — введение «шкал коррекции» (например, в MMPI): получение
определенного балла по этим шкалам вызывает внесение поправок к баллу по другим шкалам,
скоррелированным со шкалой коррекции. Величина поправок определяется коэффициентом ли-
нейной регрессии (измеренным в нормативном эксперименте) между баллами, полученными по
шкале коррекции и основной диагностической шкале (шкале свойства).
2. Устранение или сбалансирование социальной желательности с помощью использования
инструкции на преднамеренную фальсификацию результатов. Участникам пилотажных замеров
кроме обычной инструкции дается дополнительная (во вторую очередь): «Заполните опросник от
лица человека, желающего произвести самое благоприятное впечатление». Затем производится
отбор пунктов на основании того, насколько процент ответов на них отличается от 50 процентов
(значение, ожидаемое для пунктов, являющихся нейтральными с точки зрения социальной жела-
тельности).
В качестве меры желательности в данном случае можно воспользоваться следующим ко-
эффициентом:
Do'stlaringiz bilan baham: |