• Главная
• Контакты
• Нашёл ошибку
• Прислать материал
• Добавить в избранное

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.

При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.

В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:

     • знание названий, имен, фактов;

     • фактуальные знания;

     • знание определений и понимание их смысла;

     • сравнительные, сопоставительные знания;

     • классификационные знания;

     • знание противоположностей, противоречий, синонимичных и антонимичных объектов;

     • ассоциативные знания;

     • причинные знания;

     • алгоритмические, процедурные знания;

     • обобщенные, системные знания;

     • оценочные знания;

     • процессуальные знания;

     • абстрактные знания;

     • структурные знания;

     • методологические знания.

В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).

В новой концептуальной модели, предложенной в 1982 г. (Бигс и Коллис) и получившей название СОЛО-таксономия (SOLO – Structure of the Observed Learning Outcomes), содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различные ее уровни в концептуальной модели содержания теста. СОЛО-таксономия имеет иерархическую структуру, которую можно использовать как для разработки инструментария, так и при интерпретации результатов педагогических измерений. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров при планировании содержания контрольно-оценочных средств. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности, для оценки достижений учащихся по математике и естествознанию [18].

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [28]. Процесс операционализации строится на планировании содержания теста.

В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.

Процесс планирования выполняется с помощью спецификации теста. В ней делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем будет неоднократно меняться в процессе работы над тестом в сторону увеличения или уменьшения. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте.

Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.

Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:

А – знание понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

Общие принципы отбора содержания теста способствуют обеспечению его высокой содержательной валидности [28].

Первый принцип – репрезентативность – регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста.

Второй принцип – значимость – предписывает включать в тест наиболее значимые элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест.

Третий принцип – системность – предполагает подбор упорядоченных содержательных элементов, связанных между собой определенной иерархией и общей структурой знаний.

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по первому направлению вначале эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора для заданий с выбором ответа и анализируя оценочные категории, представленные автором к заданиям со свободно конструируемым ответом.

В процессе выполнения заданий возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который в определенной степени является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные.

Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения студентами со средним уровнем подготовленности, выявляет логически некорректные задания, где, помимо правильного, возникают частично правильные ответы. В процессе экспертизы особенно важно выявить случаи отсутствия четкого логического выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста.

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста, отметить в случае необходимости лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому они нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики. Желательно выявить задания, предназначенные для проверки системы понятий, а также заданий интегрального характера, предназначенных для проверки умений учащихся обобщать знания по различным разделам предмета, заданий с межпредметными компонентами и т.д.

Научно обоснованный отбор содержания является важнейшей предпосылкой достижения высокого качества педагогического теста. Процесс научного обоснования предполагает планирование содержания теста.

Планирование начинается с этапа целеполагания, на котором результаты обучения сопрягаются с целями учебного процесса. При выборе приоритетной таксономии целей обучения желательно обращаться к тем, которые имеют операциональный характер, чтобы их было легче использовать при создании тестов. Зарубежные таксономии целей обучения обладают специфическими особенностями и требуют определенной переработки для использования при планировании содержания тестов.

Основным результатом планирования является создание спецификации теста. Содержание разрабатываемого теста должно полностью соответствовать его спецификации. Правильно составленная спецификация является необходимым, но не достаточным условием высокой содержательной валидности создаваемого теста. Для достижения высокого качества содержания педагогического теста необходима тщательная экспертиза.

1. Перечислите этапы процедуры планирования теста.

2. Что, по вашему мнению, является первичным: выбор формы заданий, определение длины теста или разработка спецификации теста?

3. Есть ли различие в подходах к планированию содержания нормативно-ориентированных и критериально-ориентированных тестов?

4. Возможны ли случаи несовпадения со спецификацией при отборе содержания теста?

5. Многие авторы полагают, что для правильного отбора содержания вполне достаточно их педагогического опыта, а разработка спецификации является излишней потерей времени при создании теста. Каково ваше мнение по этому вопросу?

6. Какой принцип ориентирует разработчика на достижение полноты и значимости содержания теста?