Руководство педагогам гуманитарных, социальных и экономических наук; уч пособие для студ педвузов; М.: 2005. с

методологизация тестов


доля ложных ответов в тестах
3. Построение карточек. Важное значение имеет выбор общей конструкции карточек тестов. Во многом он предопределен используемыми контролирующими устройствами. Можно выделить следующие основные методы построения карточек.
Число и последовательность вопросов программы может быть различными. В одном случае они могут быть постоянными, неизменными. Но они могут быть и изменяющимися. Число вопросов может изменяться случайно из заданного массива, разбитого на подмассивы, число которых равно количеству вопросов в программе. При такой методе может обеспечиваться также фиксированная последовательность вопросов.
В безмашинном контроле применяют только карточки с постоянной последовательностью вопросов. Программы таких тестов могут быть построены двумя методами: подчеркнуть правильное из напечатанного или указать его иным способом.
Широко распространены опознавательные тесты, в которых при ответе обучаемый подчеркивает правильное. Не отвергая правомерности таких тестов, следует иметь в виду их недостаток: необходимость печатания одноразовых карточек. Достоинство метода - отсутствие контрольных карточек.
В преподавании чаще всего используют карточки многоразового пользования с шифровкой ответа. Такие тесты требуют контрольных карточек. При ответе обучаемый записывает номер ответа или код ответа в специальный бланк - контрольную карточку. Подобные тесты позволяют экономить усилия на разработку карточек. В таком случае обучаемый может передать последовательность шифра другому обучаемому.

I тип карточки

№ 1 №2 №3 №4 №5
в опрос вопрос вопрос вопрос вопрос
……….. …………. ………… ………… ………….
Ответы: ответы: ответы: ответы: ответы:
1……. 1……. 1………. 1…….. 1……..
2…… 2…….. 2……… 2……… 2…….
3 …… 3……… 3……… 3…….. 3……


2 тип карточки
В опросы ответы
1 2 3
№1…………………………
№2…………………………
№3…………………………
И т.д.


Шифровка (кодировка) карточек. При построении карточек необходимо уделять внимание шифровке (кодировке) самих карточек. Число карточек в каждой программе обычно меньше числа студентов, а поэтому одну и ту же карточку (один и тот же вариант) выполняет несколько обучаемых. Поэтому важно обеспечить такую шифровку карточек, чтобы обучаемые не могли определить, кто из присутствующих выполняет тот же самый вариант. Для достижения этого необходимо специально зашифровать карточки каждой программы. Такая шифровка помогает преподавателю работать с ними.
Необходимо строго установить основные формы контроля и их символическое обозначение в карточках, например:
ВК - вступительный контроль;
ОК - оперативный контроль на каждом занятии (по частям темы);
ТК - текущий (темный) контроль;
ПК - повторный контроль (для отработок, при определенных системах);
РК - рубежный (аттестационный) контроль;
ЗК - зачетный контроль (при зачетах в семестре);
ИК - итоговый контроль (экзамены);
ГК - госэкзамены.
Необходимо каждый из них шифровать с указанием разделов. Поэтому буквенная часть шифра будет состоять из двух букв: ОК, ОК, ТК, ТК и т. д. В качестве третьей буквы может быть указана тема. В цифро­вой части шифра надо указывать номер соответствующего контроля. Для этого надо использовать первую одну или две цифры, например, РКСЗ (или РКСОЗ) - рубежный контроль по собственности третья программа. Соответственно, в каждой программе следует указать номер варианта. Разработанное число карточек по каждой теме, например 11 карточек по 3 теме следует таким образом за­шифровать, чтобы студенты, по крайней мере, быстро не осозна­ли номер своей карточки. Для этого выбирают произвольное чис­ло цифр шифра; например 10 цифр, и определяют место, на кото­ром должны стоять цифры вариантов программы. Эти места могут быть одинаковыми по всем темам или различаться у разных тем. Дополняемые же цифры будут условными и различными у разных карточек. В целом шифр карточек может быть построен так: ТКС3198209343. Из них первая цифра указывает номер темы, последующие четыре цифры условны, последующие две цифры - 09 указывают номер карточки (варианта) в программе, а последние три произвольны. Номер варианта написан на 6 и 7 месте. В своих рабочих материалах по каждой теме необходимо показывать структуру шифра и место в них номера карточек с тем, чтобы легко вспомнить его при последующем использовании программы.
При построении карточек необходимо шифровать ответы на вопросы при простой и аккордной выборке. Шифровка может быть различной. Самой простой является шифровка порядковым номером ответа - числом, стоящим перед ответом. В таком случае необходимо обеспечить случайность положения правильного ответа в их списке у всех карточек программы. Существует два метода шифровки ответов: обособленная шифровка ответов каждого вопроса и сквозная шифровка ответов на все вопросы в карточке.
1 вопрос I вопрос

1. 
   ответ I ответ
   
2. 
   ответ 2 ответ
   
3. 
   ответ 3 ответ
   

2 вопрос 2 вопрос
1ответ 4 ответ
2ответ 5 ответ
……… ………
В технических средствах контроля обычно предусмотрены встроенные коды. К ним обычно даны инструкции, которые объясняют порядок шифровки ответов. Помимо номера вопроса у него име­ется и код, который тем или иным способом вводят в техническое средство контроля. И в таком случае необходимо выдерживать равновероятность расположения места правильного ответа во всех вопросах программы с тем, чтобы обучаемые не могли передать друг другу информацию о номере места правильного ответа.
На основе ряда контролирующих устройств ответ дают не вместе с вопросами и обычно не сразу, а отдельными частями. В таком случае конструкции тестов может быть следующей: вопрос: 1-й элемент ответа, 2-й элемент ответа и т.д. Превознесение некоторыми исследователями только такого способа предъявления тестов, по нашему мнению, не выдерживает критики. В таких тестах имеются не только достоинства.
По каждой теме составляют от I до числа обучаемых группы вариантов. Чем больше число карточек, тем легче гарантировать контрольную функцию программированных заданий и тем труднее реализовать контроль. Эффективный программированный контроль мо­жно обеспечить на основе 4-6 вариантов по теме.
В карточках по теме вопросы могут повторяться и не повто­ряться. Имеются попытки образования множества вариантов карто­чек на основе одного массива в 10 задач.
Недостатки опросных карточек бывают различными: кодирования, по существу вопросов и т.п. В литературе предлагают различные методы их преодоления,
4. Представление карточек обучаемым. Карточки предъявляют обучаемым различно: печатные на бумаге карточки, технические средства диапроекции, телевидение, дисплей и т.д. Печатные карточки также бывают различными: отдельные листки бумаги или брошюрки программ. При многократном использовании карточек их печатают на фотографической бумаге или запечатывают в целофановые пакеты (файлы): обучаемые не могут портить карточек указанием на них правильных ответов.

5. 
   Структура вопросов в карточках. Вопросы в карточках могут располагать различно. Их можно располагать без определенной последовательности или в определенной последовательности, соответствующей логике темы. Вопросы могут охватывать все ос­новные вопросы темы или нет. В отдельных случаях ядром карточки выступает математическая задача и остальные вопросы поясняют те или иные условия задачи. В таком случае можно проверить степень осознанности решения задачи сопоставлением верности ответов на разные вопросы. Имеются попытки составления вопросов в виде системы взаимосвязанных задач.
   
6. 
   Контрольные карточки. Контрольные карточки необходимы в отдельных формах контроля. Они не нужны в тех случаях, когда используют одноразовые карточки и ответ указывают подчеркиванием на самой карточке. Контрольные карточки бывают различными. При простой выборке они располагаются линейно, при аккордной выборке - матрично.
   

7. Эталоны. Эталоны нужны при безмашинном контроле. Их простейшие формы состоят из листка бумаги с написанными последовательностями правильных ответов. Эталоны желательно изготовлять из бумаги другого цвета по сравнению с контрольными карточками с тем, чтобы не путать с ними. Эталоны составляют обычно на стандартном листе бумаги, на котором написаны все ответы на все варианты. Для аккордных форм тестов эталоны должны быть матричными. Их изготовляют из прозрачной технической бумаги с тем, чтобы можно было выяснить совпадение ответов на контрольной карточке и эталоне. Иногда делают разные матричные пакеты, в которые вставляют контрольную карточку для оценки ответа.
Б. КОНСТРУКТИВНЫЕ ТЕСТЫ. Конструктивные тесты бывают различными. Карточки могут быть таблицами положений, которые надо дополнить одним элементом [155] или многими [60]. В результате появляется цельное предложение, отражающее определенную идею. Начальные и заключительные части предложений могут быть в одной таблице или в разных таблицах. Вначале могут давать вопро­сы, ответы на которые надо составить на основе набора элементов ответа, содержащегося в другой матрице. В таком случае готовят вопросник по теме со сквозной нумерацией вопросов. Отбирают вопросы, на которые можно дать или краткий ответ или формализовать ответ. Тест состоит в том, чтобы обучаемый подобрал из имеющейся матрицы ответы. Ответ составляют из нескольких элементов...
Такие карточки можно строить двумя методами. В одном случае и вопросы, и ответы располагают на одном листе бумаги (вверху вопросы и внизу ответы или левый столбик вопросы и правый - ответы). К листу дают контрольную карточку с заданием найти ответы на определенные вопросы. В таком случае число контрольных карточек определяет число вариантов на основе одной и той же программы. В другом случае, вопросы и ответы дают на разных листах. Ответы могут быть заданы простым перечнем или компактно в форме матрицы. Матрица ответов может быть единой для всех вариантов карточек по теме. В матрице ответов могут ставить и даты, и цифры, и формулы, и односложные ответы, синонимы, категории и т.п., все то, что необходимо для конструирования ответов на вопрос.
Формой конструктивных тестов выступает следующее задание. Задание обучаемому ряда вопросов о сущности категорий дополнено матрицей из примерно 100 терминов, располо­женных по алфавиту. Ответив письменно на вопросы, т.е. напи­сав на память определение категорий, обучаемый подбирает из матрицы необходимые термины и шифрует ответ, который затем про­веряют тем или иным способом [118].
Сложной формой конструктивных тестов можно назвать аналитические. Их используют для измерения не только ответов, но и хода решения задач. В таком случае проверяют не только коне­чный результат, но и ход решения. В матрице ставят не готовые ответы, а такие элементы, с помощью которых можно показать ход решения задачи.
Аналитическими называют и такие тесты, которые проверяют обоснованность выборки отдельных элементов. Например, обучаемый правильно решил задачу, а данное правило ее решения не отобрал правильно. Значит, решение подобрано или выполнено без понимания экономической сущности данного явления. Наоборот, может быть правильно указана теория, а задача решена неправильно [105].
В. РЕПРОДУКТИВНЫЕ ТЕСТЫ. Обучаемые должны на память воспроизвести требуемые от них знания. Степень трудности воспроизводимого может быть различной. Простейшей формой репродуктивных тестов являются синонимические. В таком случае задание состоит в том, чтобы указать синоним к выделенной (подчеркнутой и т.п.) категории.
Формой репродуктивных тестов можно считать и такие задания, когда надо подобрать опущенное слово, например:
I. Тем общим, что содержится во всех товарах и делает их соизмеримыми, является .... (труд, абстрактный труд).
2. Мерой труда, а следовательно, мерой стоимости является ... (рабочее время, общественно-необходимые затраты труда) [147].
Иной формой такого теста может быть задание ряда вопро­сов, на которые следует дать строгие, краткие односложные ответы - одним словом, одной фразой, формулой, схемой, цифрой и т.д.
При решении задач можно предусмотреть порядок записи чисел ответов. Решив несколько задач, обучаемый записывает ответы на контрольные карточки и преподаватель простым сличением определяет правильность ответа обучаемого.
Некоторой разновидностью данного теста выступают "предметные диктанты" [147]. Преподаватель читает вопрос, а все учащиеся должны написать на него сразу ответ или изобразить его графически (по установленной преподавателем форме)…". Например: "К основным средствам относят ..." [147. 54]. Такие контрольные легко проверять на основе эталонов или простой памяти. При использовании компьютеров их также можно применять.
Более сложной формой репродуктивного вопроса можно считать необходимость перечисления определенных характеристик определенных явлений. Например: "Основные признаки империализма", "троякая особенность империализма".

Иной формой репродуктивного теста может быть заполнение категориями пропущенных мест: «себестоимость равна ... минус…». Одной из форм репродуктивного теста может быть составление структурно-логических схем, показывающих основные элементы явлений на основе или без предоставления обучаемым перечня категорий.

Способ производства
┌─────┴────┐
производительные силы производственные отношения
┌─────┴────┐
средства производства  рабочая сила
┌─────┴────┐
средство труда  предмет труда
Указав матрицу данных свойств и записав вверху "способ производства", поручить студентам заполнить остальные категории на память или на основе списка категорий, соответственно закодированных
Репродуктивные тесты могут быть и более сложными по содержанию, например, такие, когда ответ на вопрос можно получить только на основе знания ряда тем. Если обучаемым не объясняют в одной теме все источники финансирования фирмой капитальных вложений, то дать ответ на него можно, только зная их в целом на основе всего курса. Тест может быть построен так: "Каковы источники финансирования фирмой ка­питальных вложений?"

1. 
   ……………
   
2. 
   ……………
   
3. 
   ……………
   

Тесты (программированный контроль) необходимо анализировать с различных точек зрения. Эти требования в целом уже сформулированы [88].