3.4. ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИК
Рассматривая в предыдущем разделе вопрос о порядке проверки валидности, мы вплотную
подошли к вопросу о целостной стратегии создания, эмпирической апробации и внедрения мето-
дики в практику.
Создание оригинальной методики или адаптация зарубежной методики не могут сводиться
только к проверке (или перепроверке) отдельных психометрических свойств - репрезентативно-
сти, надежности, валидности, достоверности - в произвольной последовательности. В одних слу-
чаях целесообразно начинать с одного этапа работы, в других - с другого.
В действительности любая реальная ситуация использования теста не является ситуацией
только «конструирования» или только «применения». Можно без преувеличения сказать, что
существует континуум между крайними полюсами:
«конструирование» __________________ «применение»
и каждая ситуация до определенной ступени удалена от обоих полюсов. Трудно назвать та-
кой случай, когда бы конструирование совершенно нового теста начиналось с нуля, «на пустом
месте». Также трудно найти и такие случаи, когда все аспекты тестирования были бы полностью
неизменными и воспроизводили бы уже совершенно исследованную нормативную ситуацию
применения готового теста.
Но все это многообразие ситуаций, всю комбинаторику независимых параметров психоло-
ги-практики, как правило, пытаются свести к двум-трем типовым ситуациям.
1. Ситуация применения. Тест кем-то разработан (возможно, В: других социокультурных
условиях), известны тестовые нормы, полученные на представителях данной языковой культуры
(несоответствие выборки стандартизации и выборки применения по половозрастной структуре и
профессионально-культурным признакам признается несущественным).
2. Ситуация адаптации. Тест кем-то разработан – проверены надежность и валидность, но
отсутствуют тестовые нормы (как правило, отсутствуют вообще для любых представителей дан-
85
ной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых
норм.
3. Ситуация конструирования. Есть концепция психического свойства, но нет процедуры
его измерения, удовлетворяющей требованиям места, времени, возможностям количественного
анализа и ограничениям прочих ресурсов. Надо придумать измерительную процедуру, проверить
ее надежности валидность, построить тестовые нормы.
Остановимся прежде всего на вопросах адаптации так называемых переводных тестов.
Путь быстрого пополнения репертуара методик за счет множества готовых зарубежных методик
кажется многим психологам наиболее экономичным, кратчайшим путем к надежной и валидной
психодиагностике. Но ведь если при этом адаптация сводится только к построению нормативно-
го распределения тестовых баллов, то это означает, что валидность и надежность адаптирован-
ной методики в новых условиях принимаются на веру, а теоретическая концепция автора теста и
содержание использованных им критериев валидности просто переносятся в наши условия без
изменений (ведь для любой, в том числе и для невалидной и ненадежной методики, можно полу-
чить распределение).
Подобный перенос дает пренебрежимые погрешности только для тестирования относи-
тельно элементарных психических свойств (таких, как свойства нервной системы, функциональ-
ные состояния, сенсомоторные параметры, элементарные когнитивные функции, причем с ис-
пользованием объективных процедур (психофизиологическая регистрация, тесты с «физически-
ми» критериями успеха и т. п.). При тестировании интегральных психических свойств личности
и индивидуального сознания (черты, мотивы, установки, самооценка, общие способности, стиль
общения, ценностные ориентации, интересы и т. п.), а также при употреблении любых лингви-
стических средств в самой процедуре тестирования (включая не только формулировки задач, во-
просов; но и исходную формулировку инструкции к тесту) и использовании культурно-
специфических критериев оценки правильности .результата (определения шкального ключа)
ограничиваться только сбором тестовых норм при адаптации - недопустимо!
Требуется серьезная эмпирическая работа по проверке надежности и валидности в новых
социокультурных условиях, работа, фактически соответствующая по своему объему созданию
оригинальной методики. С этой точки зрения, заимствование зарубежных общедиагностических
тестов способностей, черт характера, интересов и т. п. вовсе не оказывается кратчайшим путем к
психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению
пренебрегает принципами психометрики.
Перечислим необходимые этапы эмпирико-статиетической работы при адаптации много-
мерного переводного тест-опросника.
1. Анализ внутренней валидности, внутренней согласованности пунктов, из которых состо-
ит тест-опросник. Этот анализ совершенно необходим, если в зарубежной методике он приме-
нялся в качестве средства самого конструирования методики. Этот-анализ призван показать, что
существует некое (еще неясно, какое именно) общее диагностическое свойство, лежащее на пе-
ресечении всех эмпирических индикаторов (в центре «пучка» скоррелированных пунктов-
векторов). Такой анализ обязателен по отношению ко всем тестовым шкалам, полученным с по-
мощью факторного анализа, например к тест-опросникам EPI Айзенка и 16PF Кэттелла. А вот к
опроснику «локус контроля» или ко многим основным клиническим шкалам MMPI требование
внутренней согласованности применять не обязательно, так как пункты в эти шкалы подбирались
по внешнему критерию и не связаны в один «пучок». Анализ внутренней согласованности может
быть применен и к одномерным, и к многомерным тестам. В первом случае достаточно иметь
настольный калькулятор. Для многомерных тестов необходимо использование специальной ком-
пьютерной программы «Анализ пунктов».
86
По отношению к негомогенным шкалам анализ внутренней согласованности позволяет
осуществить в снятом виде необходимую проверку информативности пунктов (процент правиль-
ных или подтверждающих ответов должен соответствовать оригинальной авторской версии).
2. Проверка устойчивости к перетестированию. Эта проверка совершенно необходима при
диагностике свойств, по отношению к которым теоретически ожидается инвариантность во вре-
мени. Анализ ретестовой надежности может быть (так же как анализ надежности -
согласованности) совмещен с исследованием информативности отдельных пунктов теста, а так-
же, возможно, и устойчивости отдельных пунктов. Без сведений о ретестовой надежности психо-
лог не имеет права использовать тест для построения любого элементарного статического экс-
траполирующего прогноза (см. раздел 3.5).
3. Анализ корреляций с релевантным внешним критерием. Этот этап адаптации совершенно
необходим, если тест разрабатывался изначально как критериально-ориентированный, т. е. отбор
пунктов производился на основании их корреляций с каким-то критерием валидности. Например,
подобная работа проделана коллективом Ф. Б. Березина для сокращенной модифицированной
версии MMPI (Березин Ф. Б. и др., 1976).
4. Проверка или ре стандартизация тестовых норм. Об этом этапе уже говорилось выше. К
сожалению, только этот этап работы по адаптации тестов до недавнего ывремени признавался
всеми психологами как необходимый. Но и в этом случае далеко не всегда воспроизводилась не-
обходимая статистическая работа по проверке устойчивости полученного распределения тесто-
вых баллов к расщеплению выборки (см. раздел 3.1).
5. Специфичный этап для многомерных тестов - проверка воспроизводимости структуры
отношений между шкалами. Например, для теста Айзенка принципиальна ортогональность, ста-
тистическая независимость факторов «экстраверсия - интроверсия» и «нейротизм - стабиль-
ность». На воспроизводимости структуры связей шкал между факторами 16PF основывается
корректность подсчета вторичных факторов (Ямпольский Л. Г., 1981; Мельников В. М., Ямполь-
ский Л. Г., 1985).
Даже беглый взгляд на пять перечисленных этапов позволяет убедиться в том, что адапта-
ция зарубежных тестов мало чем уступает по объему эмпирико-статистической работы созданию
оригинальных методик. Здесь было бы даже более адекватным использование не термина «адап-
тация», а выражения «исследование зарубежной методики на отечественной выборке».
Тем не менее не следует понимать сказанное как призыв к полному отказу от работы с за-
рубежными методиками. Нет, конечно же, такая работа должна проводится интенсивно и плано-
мерно. Особенно по отношению к тем методикам, которые уже получили международное рас-
пространение, доказали свою кросскультурную универсальность, адаптированы и успешно при-
меняются во многих странах. Создание отечественных эквивалентов международных тестов поз-
воляет использовать международный опыт валидизации, теоретического осмысления и практи-
ческого использования этих тестов. Сравнение результатов, структурно-функциональных харак-
теристик адаптированных зарубежных и отечественных тестов позволит российским психологам
глубже понять, установить на конкретно-эмпирическом уровне специфику влияния образа жизни
на психологический склад личности россиян, раскрыть разнообразие исторических и актуальных
детерминант, обусловливающих социально полезные и социально вредные тенденции в психоло-
гической дифференциации индивидов в современных условиях, что совершенно необходимо для
научного управления процессами воспитания и формирования человека.
Особые задачи ставит перед психологом ситуация «внутрикуль-турного переноса» теста на
новую популяцию, отличающуюся от выборки стандартизации половозрастными или професси-
онально-культурными особенностями. В этом случае необходимо:
1. Проверить валидность методики в тмо случае, если методика чувствительна по своему
87
содержанию к профессиональной или региональной специфике (могут ли отвечать пенсионеры,
или школьники, или жители отдаленных регионов на вопросы, подразумевающие типичные си-
туации из жизни студента, обучающегося в крупном городе европейской части России?). Для
этого надо выбрать по возможности максимально экономичную процедуру проверки валидности.
Размеры выборки в эксперименте по проверке валидности должны быть такими, чтобы можно
было надеяться на получение статистических значимых связей между тестовым показателем и
критерием валидности (это, как правило, не менее 30 испытуемых).
Если результаты проверки валидности оказываются неудовлетворительными (коэффициент
корреляции явно ниже 0,5, и дальнейшее наращивание выборки все равно не оправдает примене-
ние .теста со столь низким показателем валидности), то по собранным результатам следует про-
извести простейший анализ пунктов: посмотреть, не оказались ли некоторые пункты явно неин-
формативными (все испытуемые отвечают одинаково), не оказались ли некоторые вопросы явно
бессмысленными или слишком «прямыми», социально значимыми в данной ситуации. Не ис-
ключено, что при исключении неудачных пунктов из подсчета тестового балла (после приравни-
вания С=0).,искомая валидность будет обнаружена.
В отсутствие доступного внешнего критерия необходимо прибегнуть к проверке внутрен-
ней валидности, консистентности методики.
2. Проверить соответствия тестовых норм. Только после получения позитивного результата
при проверке валидности целесообразно расширять выборку и реконструировать эмпирическое
распределение тестовых баллов (см. раздел 3.1). Квантили этого распределения необходимо
сравнить с квантилями нормативного распределения; если расхождения оказываются пренебре-
жимыми (не превышают ошибку измерения), то, можно принять вывод о приложимости к данной
популяции универсальных тестовых норм. Но на к практике чаще возникают значимые отличия
(оценка близости двух распределений производится по формуле (3.1.15) на с. 9.6). В этом случае
психолог должен построить так называемые частные тестовые нормы, причем не только для ис-
пользования в собственной диагностической практике, но и для пополнения информационно-ме-
тодического банка данных отечественной психодиагностики (копию таблицы распределения те-
стовых баллов психолог должен послать в тот диагностический методический центр, с которым
он поддерживает методические связи - получает методические материалы, проходит переподго-
товку и т. п.).
Подчеркнем, что абсолютное большинство ситуаций, которые обычно расцениваются как
ситуации «применения», на самом деле являются ситуациями более или менее серьезного «внут-
рикультурного переноса». Именно эти обстоятельства предопределяют высокий уровень требо-
ваний к психометрической подготовке психологов-психодиагностов (см. раздел 3.6).
При создании методики, как это уже было сказано в предыдущем разделе, решающее зна-
чение имеют методологическая ориентация и статус психолога.
Под статусом в данном случае понимаются существенные различия в нормативных (за-
крепленных в должностных инструкциях) требованиях к продукту деятельности психолога, ра-
ботающего в исследовательском учреждении, и психолога, работающего в практическом учре-
ждении. Если в первом случае психолог имеет право считать своим «конечным продуктом»
внутрипсихологическую валидизацию сконструированной методики, то во втором случае он, как
правило, обязан обеспечить практическую эффективность своей психодиагностической про-
граммы - указать на статистически значимую связь результатов диагностики с величиной какого-
то социально ценного показателя - критерия, а затем построить на основе этой связи психологи-
ческую концепцию «вмешательства» (административного или психологического воздействия на
ситуацию с целью ее изменения в желаемом направлении – в сторону максимизации данного по-
казателя).
88
Указанные изначальные различия в статусах психолога-исследователя и психолога-
практика предопределяют оправданные различия в стратегии конструирования тестов и тестовых
батарей. Для психолога-исследователя главная ценность - это теоретическая обоснованность и
эмпирическая однозначность диагностического конструкта, которой он достигает с помощью
оправданной ориентации на конструктную валидизацию. У исследователя хватает ресурсов для
того, чтобы обеспечить множественность разнообразных по своему статусу критериев валидно-
сти - от субъективных оценок валидности включенных наблюдателей (L-данные по Кэттеллу) до
экспериментального моделирования реальных ситуаций проявления измеряемого свойства (Г-
данные по Кэттеллу, см. также: Мельников В. М., Ямпольский Л. Г., 1985). Для психолога-
практика главная ценность - это эффективность, пусть даже она будет достигнута с помощью
теоретически эклектичного инструмента - эмпирического средства, не имеющего соответствую-
щего научно строгого конструкта.
Появление и размножение прагматических тестов, очевидно, обусловлено действием объ-
ективного социально-исторического механизма, который можно было бы кратко назвать «опере-
жающим запросом практики». Этого феномена не было бы, если бы все запросы практики можно
было заранее предвидеть и рационально спланировать, подготавливая релевантные научно обос-
нованные диагностические процедуры. Но такое предвидение всегда удается осуществить лишь в
определенной мере - реальная практика тем и отличается от дедуктивного движения в плоскости
абстракций, что всегда приводит к столкновению с новыми и неожиданными явлениями, что
обусловливает и появление неожиданных запросов.
Большинство ценных прагматических тестов с исторической неизбежностью становятся
предметом для изучения со стороны психологов-исследователей, апостериорно реконструирую-
щих научную концепцию валидности этих тестов, что значительно улучшает их характеристики
и адекватизирует сферу применения.
Психодиагностика как специфический институт, реализованный в форме управляющего
кольца «наука - практика - наука - практика...», достигнет оптимальных режимов в своем функ-
ционировании, если любые попытки конструирования и применения любых тестов будут тща-
тельно документироваться, будут доступны для повторения в любом звене (исследовательском
или практическом) психологической службы. При обеспечении эффективной информационной
базы, оперативных форм информационной связи между звеньями этой системы (как методологи-
ческими, так и практическими) всякое практическое применение тестов станет одновременно и
работой по созданию новых методик.
Do'stlaringiz bilan baham: |