О проблеме определения трудности тестовых заданий

Гущин Ю.Ф.

Одним из показателей успешности деятельности учащегося (и, соответственно, уровня его подготовки) является уровень сложности заданий, которые он может реально выполнять. Термин «сложность» в педагогике рассматривается в контексте проблемы доступности содержания обучения. Никитенко В.Н. ([2]) выделяет содержательно-логический и психологический аспекты доступности. К первому он относит «объективные характеристики учебного материала», а ко второму – уровень подготовки учащихся. Изучение этой проблемы показало, что следует различать сложность единиц содержания образования «как их постоянную характеристику» и «рассматривается в контексте проблемы доступности содержания обучения ([2[). Никитенко В.Н. выделяет содержательно-логический и психологический аспекты доступности. К первому он относит «объективные характеристики учебного материала (в частности, его сложность), а ко второму — подготовленность учащихся». Изучение проблемы показало, что «следует различать сложность единиц содержания образования как их постоянную характеристику и «трудность» как переменный фактор подготовленности учащихся к преодолению сложности ([2] с. 267 ). Сложность при этом рассматривается и анализируется в двух планах: структурном и содержательном. Структурная сложность «определяется числом и разнообразием элементов, входящих в единицу содержания, разнообразием связей и отношением этих элементов» ([2], с.267). Для иллюстрации этого типа сложности приводится следующий пример: «Система понятий в структурном отношении более проста, чем теория, так как состоит из однородных элементов (понятий ), связанных логическими отношениями. Большая сложность научной теории как единицы содержания образования определяется тем, что в нее входят неоднородные элементы: факты, основные понятия, законы, основные положения, следствия, и связи между этими элементами не сводятся к логическим» (В.С. Цетлин, 1977).

Сложность содержательная связана, в свою очередь, с тем «относится ли единица содержания к теоретическому или к эмпирическому уровням познания, связана с абстрактностью или конкретностью» (там же, с. 269 ). Простыми являются с этой точки зрения знания, которые могут быть восприняты и усвоены непосредственно и не требуют шагов ( операций ) в осмыслении. Они же, как правило, и наиболее конкретны. К сложным единицам относятся те, которые требуют определенных познавательных операций и действий (вычленения признаков объекта, их сравнения, сопоставления, обобщения, абстрагирования и т.д.). Чем больше требуется таких шагов ( операций ), тем более сложным является содержание. Таким образом, критерием сложности на этом уровне выступает система операций, необходимых для осмысления и усвоения знаний. как переменный фактор подготовленности учащихся к преодолению сложности» ([2] с. 267 ). Сложность при этом рассматривается и анализируется в двух планах: структурном и содержательном. Структурная сложность «определяется числом и разнообразием элементов, входящих в единицу содержания, разнообразием связей и отношением этих элементов» ([2], с.267). Для иллюстрации этого типа сложности приводится следующий пример: «Система понятий в структурном отношении более проста, чем теория, так как состоит из однородных элементов (понятий ), связанных логическими отношениями. Большая сложность научной теории как единицы содержания образования определяется тем, что в нее входят неоднородные элементы: факты, основные понятия, законы, основные положения, следствия, и связи между этими элементами не сводятся к логическим» (В.С. Цетлин, 1977 г.).

«Трудность» является одним из понятий, характеризующих качество тестовых заданий. В практике и теории тестирования основанием для выделения заданий по критерию трудности служит процент учащихся, не выполнивших данное задание. Реальные показатели трудности заданий учитываются по результатам тестирования. Границы для разделения тестовых заданий по критерию трудности устанавливаются на основании опыта, т.е.эмпирически. Например, в классификационной системе, используемой в Центре педагогических измерений, она не должна быть меньше 10% и не должна превышать 70% ( в других центрах, проводящих тестирование, используются другие границы, что не меняет самой сути дела ). Кроме этого, вводится показатель «авторская трудность», который учитывает «начальное экспертное значение трудности» ([1]). Это значение проставляется автором-разработчиком теста или экспертом и является, фактически, выражением ожидаемой трудности. Таким образом, в теоретическом и в практическом плане в данном случае используется вполне конкретный количественный показатель и критерий для определения трудности тестовых заданий. Но, очевидно также, что такой критерий должен иметь соответствующее теоретическое основание и обоснование. Другими словами, важно знать на какое понятие опирается или что служит теоретической базой для такого различения? Именно это в конце концов является главным условием и признаком достовености и полезности вводимых показателей и критериев оценки. Как сказал в свое время Гуго Мюнстерберг, «гораздо важнее иметь приблизительный, но правильный ответ на вопрос, чем с точностью до четвертого знака, но ошибочный».

Термин трудность в тестологии определяется следующим образом: »…это процент лиц данного контингента, которые не выполняют данное задание….Реальная трудность заданий определяется в результате апробационных исследований. Именно эта трудность должна использоваться при определении координат заданий на плоскости обученности или на оси ординат «лестницы» теста. Однако Вы можете построить исходный авторский вариант, опираясь на свой педагогический опыт. для этого Вы, как эксперт присваиваете каждому заданию экспертную трудность» ( 1, с. 37-38 ).

Трудность в отличие от сложности является внутренней, субъективной характеристикой единиц содержания. В работах, анализирующих трудности учащихся «речь идет о затруднениях, возникающих при включении новых знаний в систему имеющихся». Трудность может быть связана для учащегося с объемом и сложностью учебного материала, но не определяется ими полностью. Обобщая имеющиеся в литературе данные и опыт изучения трудностей учащихся в учебном процессе, можно прийти к выводу, что главным источником трудностей является несоответствие содержания образования жизненному и познавательному опыту учащихся. Критериями такого несоответствия могут служить:

1) несоответствие по запасу знаний — обыденных, эмпирических, теоретических, логических, оценочных и др.;

2) несоответствие по опыту деятельности — познавательной на разных ее уровнях, практической;

3) несоответствие по потребностям и интересам — учебным, познавательным, жизненным….

Данные трудности в определенной мере зависят от объема материала, от сложности — абстрактности знаний, их теоретичности. Они зависят также (в том, что касается умений и навыков) от структурной сложности, сходства и дифференцированности требуемых действий, сложности их систем. Еще одним источником трудностей может быть «невозможность для учащихся целостно охватить новый материал» ( 2, с. 273 ).

Представленный здесь материал показывает, что приведенное выше представление о трудности в тестологии во многом отличается от понятия о трудности в педагогике и психологии. Трудность в первом случае — это количество учащихся, не справившихся с конкретным заданием. Причины и источники такого результата в данном случае не анализируются. Главное для такого подхода в тестологии — количественные показатели, соответствующие понятию. Попробуем, однако, разобраться, что же реально может стоять за таким подходом, каковы его последствия. Если показатель трудности превысил допустимые границы ( предположим верхнюю границу в 70% трудности ), то такие задания рекомендуется исключить из теста. Следует предположить, что в группу не справившихся с заданием учащихся попали не только те, для кого трудность была обусловлена объективной сложностью заданий. Предположим, что задания были не сложными, а причины неуспеха в том, что учащиеся просто плохо подготовлены в силу определенных социальных или психологических причин. В этом случае исключение «трудных» заданий приводит, фактически, к снижению уровня требований к учащимся.

Другим важным следствием такого подхода является выхолащивание содержания базовых понятий, используемых в тестологии. Понятие о трудности в психологии и педагогике содержательно представлено более масштабно, объемно и дифференцированно, чем в тестологии, где это понятие сводится, фактически, к одному показателю — количеству учащихся, не справившихся с заданием.

Еще одно несоответствие выявляется при анализе понятия “авторская трудность”. В системе взаимосвязанных понятий о доступности, сложности, трудности единиц содержания обучения нет ни слова, ни намека о том, что представляет собой авторская трудность. Предположим, что в нем не было необходимости при рассмотрении трудности в контексте обсуждения содержания образования, и появилась потребность в тестологии. Однако в этом случае это понятие должно быть корректно введено и обосновано, частности, должно быть определено его значение и указано место в системе других — родственных по смыслу понятий. По смыслу понятие «авторская трудность» ближе всего стоит к интегральному понятию о сложности, то есть, учитывающему одновременно и структурную, и содержательную сложность заданий, определяемую экспертным путем.

А теперь сравним два подхода к определению трудности — в педагогике и в современной тестологии. Напомним, что трудность рассматривается в педагогике не изолировано, не как самодостаточная теоретическая единица (понятие), а в связи с другими понятиями, характеризующими объект измерения: «доступность учебного материала для учащихся» объем и сложность материала. Таким образом, когда речь идет о контроле усвоенного учащимися содержания учебного предмета, то дело не только в количественных показателях усвоенного. Реальная проблема гораздо сложнее. На результаты усвоения влияет множество факторов — содержание учебного предмета, учебный процесс, а также готовность самих учащихся к усвоению требуемого содержания, которая определяется и возрастными особенностями, и развитием, и мотивацией. В дидактике это обсуждается как проблема соответствия содержания образования условиям учебного процесса , которая находит отражение, в частности, в понятии о доступности учебного материала для учащихся. Аспектами доступности являются объем и сложность материала, с одной стороны, и трудность, с другой. Трудность заданий (единиц содержания) определяется затруднениями, которые носят индивидуальный, психологический характер и могут иметь самые разные причины. Например, ряд авторов считает, что роль определяющих трудность факторов играют «…отдаленность (отстояние) нового материала от имеющегося в сознании» , возрастные особенности учащихся и мотивация. Другими словами, трудность в дидактике определяется совсем иначе, чем в тестологии. Процент учащихся, не справившихся с заданием, имеет, конечно, отношение к трудности, но в такой же мере, как объем и сложность материала и ряд других факторов. Следует учитывать также, что оценка в обучении предполагает учет возможностей учащихся, а не только формальную фиксацию результатов деятельности.

Подведем некоторые промежуточные итоги анализа проблемы. Формально-информационный подход к измерениям в педагогике ориентируется, в основном, на получении количественных показателей, характеризующих индивидуальные и коллективные результаты обучения, т.е. на определенные статистические данные о результатах деятельности. Но соответствует ли это в полной мере, во-первых, задачам и целям оценки, а, во-вторых, задачам управления образованием? Если иметь в виду не только контроль за результатами обучения, но и управляющее воздействие на качество обучения, то одних только количественных показателей справившихся и не справившихся с заданиями недостаточно. Необходим более глубокий и дифференцированный анализ результатов обучения.

Другая проблема и вопрос связаны с формированием тестовых заданий. Напомним, что в тестологии значение имеет не только проведение процедур измерения и обработка результатов тестирования. Главным является содержание тестовых заданий. Отдельные тестовые задания — это и есть те единицы содержания усвоения, о которых идет речь в педагогике при обсуждении проблемы доступности. Эти единицы должны учитывать сложность материала, его объем, возрастные особенности учащихся и др. особенности. Многие разработчики тестов (а это в нашей стране, в основном, не профессиональные тестологи) ориентируется на конкретное содержание материала, которое нужно проконтролировать. По отношению к нему разрабатываются формулировки задания и те ответы, которые соотносятся с содержанием контролируемых элементов, но не более. Не очень понятно, как при этом учитываются такие факторы, как доступность материала. его сложность, ожидаемая трудность. Такие факторы, как новизна единиц содержания, стандартность или нестандартность формулировок вопросов, абстрактность или конкретность, гибкость или косность мышления тестируемых, практически не учитываются, либо учитываются на уровне субективных представлений об этом самих авторов-разработчиков тестов. Это связано с тем, что сам огбъект, то есть, тест и его составляющие, как правило, изначально представлен не в полном объеме и не дифференцировано, о чем говорилось выше.

Мы начали эту статью с того, что обозначили определенное противоречие между содержанием контролируемого объекта (а им является не только усвоенное учащимися содержание учебной дисциплины, но и множество других факторов, о которых говорилось выше) и процедурами, направленными на выявление и измерение этого содержания.. Является ли это противоречие, в принципе, не разрешимым? Наш анализ показывает, что эта проблема может иметь положительное решение. На наш взгляд, существующая на сегодняшний день теоретическая база, на которую опираются в настоящее время разработчики тестов, может быть существенно расширена и качественно усовершенствована, если использовать существующие в педагогике теоретические понятия и разработки.

Наш анализ, в частности, показывает, что значимой характеристикой тестовых заданий (единиц содержания) является не трудность сама по себе, а доступность учебного материала для обучающихся. Для характеристики доступности в дидактике используются два взаимосвязанных понятия — сложность и трудность. Каждое из них, в свою очередь, определяется набором параметров, которые могут иметь качественное и количественное выражение. Сложность и трудность — это аспекты, характеризующие один и тот же объект, но с разных сторон — внешней (социальной) и внутренней (психологической). Если, однако, нужно организовать однородную шкалу для оценки, то «сложному» на этой шкале будет противостоять простое, а трудному — легкое. Одновременное использование этих двух шкал позволяет построить типологическую таблицу, в которой отдельные значения соответствуют содержательно интерпретируемым группам учащихся, различным образом реагирующих на тестовые задания в зависимости от их сложности и трудности.

Таблица 1

Основания

Сложное

Простое

Трудное

1. Сложные и трудные задания

2. Простые, но трудные

Легкое

3. Сложные, но легкие

4. Простые и легкие

Две группы значений в этой типологии — № 1 и № 4 достаточно легко распознаются и интерпретируются: это, как раз, те группы (и те учащиеся), для которых внутренняя оценка трудности заданий совпадает с внешней, предметно-содержательной оценкой их сложности.

Вторая группа — простые, но трудные задания, соответсвует группе учащихся, для которых простые (по шкале предметной сложности) задания субъективно оцениваются и переживаются как трудные (и поэтому с их точки зрения они сложные). Внешняя и внутренняя оценки в этом случае не совпадают. Трудность в этом случае может быть обусловлена самыми разными причинами. Наиболее очевидная и, вероятно, самая распространенная — неподготовленность учащихся по данной теме или разделу курса. Но возможны и другие причины: педагогическая запущенность, недостаточное развитие, социальная дезадаптация, подавленность, психологический дискомфорт, фрустрация, низкая или неадекватная мотивация и др.

Еще одна группа заданий характеризуется в типологии как объективно сложные, но воспринимаемые и переживаемые внутренне, как легкие. Так могут восприниматься задания учащимися, которые в силу определенных причин успешны (по данной дисциплине или в обучении в целом ) Здесь также могут играть роль разные причины — способности, высокая работоспособность, интересы (например, увлеченность предметом) и т.д.

Отметим две существенные особенности данной типологии, которые могут быть охарактеризованы как преимущества такой категоризации тестовых заданий по сравнению с ранее рассмотренными. Одна состоит в том, что выделенные категории практически полностью охватывают всю совокупность встречающихся заданий и ситуаций, и, тем самым, можно говорить о том, что наша типологическая схема целостно характеризует объект. Вторая, на наш взгляд, более важная особенность состоит в том, что выделенные категории заданий соотносятся напрямую с соответствующими группами учащихся. Это позволяет не только определенным образом классифицировать тестовые задания, но одновременно позволяет получить информацию о том, что стоит за восприятием и оценками школьниками тестовых заданий, а это, в свою очередь, повышает качество тестовых заданий.

Литература

Анастази А. Психологическое тестирование. СПб.: Питер, 2001. 688 с
Никитенко В.С. Сборник научно-педагогических и методических работ (1975-2005 гг.) Биробиджан: Изд-во ГОУ ВПО «ДВГСГА», 2006. 279 с.
Цетлин В.С. Неуспеваемость школьников и ее предупреждение. Издательство: Педагогика , М. 1977, 120 с.