«ПРОСВЕЩЕНИЕ. ИНОСТРАННЫЕ ЯЗЫКИ»

Языковое тестирование ставит своей целью определение уровня сформированности коммуникативной компетенции обучающихся иностранному языку и её отдельных составляющих, в первую очередь, языковой и речевой компетенций. Этот комплекс заданий предъявляется учащимся в форме совокупности вопросов, обеспечивающих однозначность ответов. В современных условиях обучения языковое тестирование неизменно используется при проведении текущего, промежуточного и итогового контроля уровня учебных достижений учащихся. Тестирование проводится в строго контролируемых условиях и позволяет объективно измерить изучаемые характеристики педагогического процесса. В предлагаемой статье Радислав Петрович Мильруд даёт развёрнутые ответы на наиболее часто возникающие у учителей вопросы при оценивании результатов тестирования.

настроение: деятельное

ключевые слова: языковое тестирование, коммуникативная компетенция, стандартизация теста, объективность оценивания, анализ тестовых заданий, контрольно-измерительные материалы, функции тестирования, ГИА, ЕГЭ

город: Тамбов

ВОПРОС: Как можно оценивать знания учащихся по иностранному языку?

ОТВЕТ: Оценивать знания учащихся по иностранному языку можно с помощью различных инструментов педагогического измерения, к которым относятся как языковые тесты, так и суждения учителя по впечатлению от устного или письменного ответа школьника. Это означает, что существует два основных способа оценивания знаний учащихся по иностранному языку: субъективный (на основе суждения учителя или комиссии экспертов) и объективный (на основе результатов стандартизованного языкового тестирования). Отметим, что мнение учителя во многих случаях может претендовать на объективность, так как учитель способен учесть больше педагогических обстоятельств, важных для оценки ответа ученика, чем это способен сделать самый современный тест. С другой стороны, языкового теста, гарантирующего абсолютную объективность оценки, пока не существует.

ВОПРОС: Что нужно сделать для того, чтобы повысить объективность отметки, выставляемой ученику учителем?

ОТВЕТ: Чтобы повысить объективность оценки учителя, желательно максимально учитывать все обстоятельства педагогической ситуации, включая учебную мотивацию и старательность ученика, затрачиваемые усилия и регулярность занятий. Одновременно необходимо полностью исключить свое личное отношение к ученику в момент выставления оценки.

ВОПРОС: Что нужно сделать для того, чтобы повысить объективность языкового тестирования?

ОТВЕТ: Прежде всего дадим определение языковому тесту. Языковой тест — это инструмент объективного педагогического измерения результатов обучения иностранному языку, прошедший процедуру стандартизации, доказавшей валидность и надежность теста как контрольно-измерительного материала.

Следует убедиться, что языковой тест способен точно определить в конкретных баллах уровень овладения учеником тестируемого языкового явления и чутко реагировать на различия в знаниях тестируемых учащихся, даже если эти различия внешне малозаметны.

Важно также проверить валидность теста, то есть его способность измерять именно то, что заявлено в цели тестирования. Учитывая валидность языкового теста, который разрабатывается для того, чтобы измерять компоненты коммуникативной компетенции учащихся, недопустимо на основании языкового тестирования делать вывод об умственных способностях ребенка, уровне его интеллекта или нравственно-волевых качествах (ответственности или безответственности, трудоспособности или лени и проч.)

Необходимо доказать надежность теста. Надежный тест всегда точно показывает уровень знаний учащихся, и его результаты последовательно соответствуют баллам, полученным школьниками с помощью других инструментов педагогического измерения (иных стандартизованных тестов, объективных отметок учителя, баллов независимых экспертов и др.)

ВОПРОС: Может ли учитель разработать и использовать собственный тест для оценивания учащихся?

ОТВЕТ: Положительный или отрицательный ответ на этот вопрос зависит от задачи, для решения которой учитель разрабатывает и применяет свой собственный контрольно-измерительный материал.

Если педагогическая задача учителя заключается в том, чтобы проверить уровень усвоения учащимися конкретного объема изученного в классе материала и измерительные инструменты для этого отсутствуют в учебно-методическом комплекте (учебнике), то учитель может и вынужден принести на урок свой языковой тест.

Учителю приходится в ряде случаев разрабатывать собственные тесты, так как заимствовать контрольные задания из других УМК некорректно, ведь в каждом учебнике есть своё специфическое содержание обучения.

Также учитель может предложить школьникам собственный тест в случае, если он дополнительно использует в обучении свои методические материалы или преподаёт по авторской программе собственный элективный курс.

Во всех других случаях у учителя обычно не возникает реальной необходимости создавать собственные КИМы, так как современные учебники всегда содержат средства измерения достижений учащихся в достаточном количестве.

Если речь идёт о создании учителем своих собственных тестов для измерения у учащихся общего уровня владения иностранным языком, то такая дидактическая задача слишком сложна для учителя. Современный тест обязательно проходит процедуру стандартизации, то есть всесторонней проверки пригодности теста для точного отражения реального уровня учебных достижений учащихся в образовательном курсе «Иностранный язык».

Процедура стандартизации теста обычно включает несколько этапов:

• определение точности получаемых результатов при сопоставлении с учебными показателями, полученными с помощью других измерительных инструментов;
• выяснение стабильности получаемых результатов при повторном тестировании других учащихся с аналогичным уровнем учебных достижений;
• проверку воспроизводимости результатов тестирования на примере учащихся других классов, школ и регионов с устойчивым соответствием результатов теста и реальных учебных достижений школьников;
• контроль дифференцированности результатов тестирования успевающих и неуспевающих школьников в зависимости от их уровня учебных достижений и успешности освоения ими образовательного курса;
• статистическую проверку надежности теста с помощью соответствующего математического аппарата, включая вычисление коэффициента корреляции между результатами стандартизируемого материала и результатами параллельных измерений.

Подобные процедуры необходимы для того, чтобы разработать качественные контрольно-измерительные материалы, которые можно использовать на языковых экзаменах повышенной ответственности, где нередко решается судьба учащихся. Задача подобной сложности не под силу школьному учителю.

В данном случае речь идет не только о языковых экзаменах. Любой педагогический вывод о соответствии или несоответствии учебных достижений учащихся требованиям Федерального государственного образовательного стандарта и Примерной основной образовательной программы должен делаться только на основании контрольно-измерительных материалов, официально допущенных компетентными органами управления образованием для использования в школе.

ВОПРОС: Как влияет тип языкового теста на отметку, выставляемую ученику учителем?

ОТВЕТ: Отметка учителя ученику во многом зависит от типа языкового теста. Приведем вначале таблицу с типами языковых тестов:

Функция/тип тестирования	Прогнозирующее тестирование	Текущее тестирование	Итоговое тестирование
Определение уровня	Admission test
Сортировка по группам	Placement test
Диагностика проблем	Diagnostic test
Анализ способностей	Aptitude test
Мониторинг		Progress test
Оценка достижений			Achievement test
Достигнутый уровень			Proficiency test

Из таблицы видно, что существуют языковые тесты для определения исходного уровня владения языком у учащихся (Admission test). Есть тесты для того, чтобы распределить учащихся по учебным группам для более эффективной работы с ними (Placement test). Используются тесты для диагностирования и прогнозирования возможных трудностей, которые учащиеся, вероятно, будут испытывать в курсе иностранного языка (Diagnostic test). В ряде случаев необходимо выявить языковые способности учащихся, влияющие на успешность обучения (Aptitude test).

В учебном процессе часто применяется тестирование текущих учебных достижение учащихся (Progress test). По окончании образовательного курса иностранного языка проводят оценку достижений, то есть знаний учащимися пройденного содержания обучения (Achievement test). Наконец, для выявления достигнутого учеником уровня овладения иностранным языком организуется тестирование коммуникативной компетенции в целом (Proficiency test).

Нетрудно заметить, что учительская отметка с присущей ей долей субъективности и одновременно большим воспитывающим воздействием на учащихся наиболее целесообразна в ходе тестирования текущих достижений учащихся.

Для оценки познавательных возможностей ученика, распределения учащихся по группам и уровням владения языком, прогнозирования возможных проблем и выявления языковых способностей более надежными являются разработанные специалистами тестовые инструменты.

ВОПРОС: Как влияет трудность и сложность тестовых заданий на отметку, выставляемую ученику учителем?

ОТВЕТ: Важным аспектом анализа тестовых заданий является определение их трудности и сложности.

Трудность задания обычно рассматривается как субъективная психологическая категория, поскольку восприятие учащимися теста как «трудного», всегда индивидуально. Трудность возрастает, если уровень знаний учащихся отстает от языкового уровня теста. В этом случае ему нужно совершить значительно больше умственных операций, чем ученику, чьи знания соответствуют уровню теста или даже опережают его. Трудность теста также зависит от уровня языковых способностей учащихся и других субъективных факторов (уровня интеллекта, эпизодической усталости и проч.)

Сложность теста — это объективная дидактическая категория, которая определяется составом учебных действий, из которых состоит тестовое задание. Аналогично, чем больше действий в арифметической задаче, тем она сложнее для учащихся. Простой по составу языковой тест объединяет ограниченное количество вопросов, на которые нужно ответить. Более сложный по составу тест предполагает, что учащимся нужно ответить на много вопросов и совершить значительное количество познавательных действий. Например, сложным по составу является задание «вставить абзац в текст». Для этого учащимся нужно прочитать текст до конца и понять его, разбить текст на абзацы, прочитать отдельно стоящий абзац и понять его, принять решение о месте этого абзаца в общей логике текста, вставить абзац в текст и еще раз проверить логику всего текста. Сложным по составу является задание написать письменное высказывание с элементами рассуждения (эссе) и другие творческие тестовые задания. В этом случае результат зависит от творческих способностей учащихся, а не только от владения языковыми средствами. То есть проблемность тестового задания возрастает, если объективная сложность теста сочетается с его субъективной трудностью.

Отметка учителя ученику в процессе текущего контроля учебных достижение учитывает как субъективную трудность, так и объективную сложность тестового задания. В текущем контроле учитель имеет право оценивать ответ ученика всесторонне для педагогического управления обучением.

В отличие от текущей успеваемости в процедуре итогового контроля на примере ЕГЭ задания градуируются по своей объективной сложности. Разделение тестового материала на более или менее сложные задания не влияет на баллы учащихся. На баллы учащихся не влияет также их прошлое отношение к учебе, былые заслуги и победы на олимпиадах, прилежание и старательность, сложившиеся отношения с учителем. Субъективная трудность задания для отдельных учащихся также никак не оценивается учителем, но проявляется в количестве допущенных ошибок или недостатков ответа.

ВОПРОС: Какие существуют уровни тестирования коммуникативной компетенции учащихся?

ОТВЕТ: Европейской ассоциацией экспертов в области языкового тестирования разработаны уровни владения иностранными языками. Эта шкала содержит шесть уровней: A1, A2, B1 (пороговый уровень), B2 (уровень, превышающий пороговый), C1 и C2. Таким образом, охватывается диапазон от базового до практически совершенного уровня владения иностранным языком. Эти уровни владения языком приняты за основу в Общих европейских компетенциях (Common European Framework).

В соответствии с Федеральным государственным образовательным стандартом общего (полного) среднего образования Единый государственный экзамен по английскому языку в целом должен соответствовать «пороговому уровню» овладения иностранным (английским) языком (B1). Для учащихся классов и школ с углубленным изучением иностранного языка предусмотрены тестовые задания, превышающие пороговый уровень (B2).

Современные серии учебников английского языка используют аналогичную шкалу уровней английского языка, которая тоже состоит из шести уровней: Beginner (Starter = Basic), Elementary, Pre-Intermediate, Intermediate, Upper-Intermediate и Advanced. На эту шкалу ориентируются сегодня практически все учителя английского языка, использующие современные учебно-методические комплекты и реализующие коммуникативный подход к обучению.

Подчеркнем, что баллы, полученные учеником, не зависят от языкового уровня, на котором проходило обучение иностранному языку и тестирование результатов. Существуют страны, где учащиеся сдают языковые экзамены в форме тестов на разных уровнях языковой сложности. Разный уровень языковой сложности предусмотрен не только в ситуациях текущего контроля, но и на экзаменах «повышенной ответственности» по завершении полного среднего образования. Это означает, что баллы выпускников, освоивших образовательный курс иностранного языка на разных уровнях, могут совпадать. Однако в документе об окончании полной средней школы делается пометка об уровне овладения иностранным языком.

ВОПРОС: Как определить соответствие текста или языкового теста одному из шести уровней овладения иностранным языком (по «Общим европейским компетенциям» — Common European Framework)?

ОТВЕТ: Задача определить соответствие теста или текста одному из шести уровней овладения иностранным языком решается методом «независимых экспертов». Подобная задача актуальна для учителей, которые нередко используют в учебном процессе, а также на экзаменах в формате языкового тестирования самостоятельно отобранные тесты и измерительные материалы.

Метод «независимых экспертов» состоит в том, что каждый из трех или пяти опытных преподавателей иностранного языка получает идентичный набор текстов (тестов), строго соответствующий стандартным уровням овладения иностранным языком. Этот «эталонный» набор текстов (тестов) отбирается из стандартизованного материала прошлых лет. Одновременно каждый из экспертов получает одинаковый экземпляр одного текста (теста) для того, чтобы определить, какому уровню сложности соответствует оцениваемый материал. Если мнения экспертов совпадают, текст (тест) допускается для использования в обучении или тестировании.

Как видим, подобная процедура достаточно сложная и ответственная. Однако учителя-практики могут решать подобные задачи для своей школы, города или региона с помощью экспертов соответствующих методических объединений.

Разумеется, подобные материалы учителей могут быть использованы только в целях обучения и текущего контроля учебных результатов, подведения предварительных итогов работы школы, для оценки эффективности авторских программ и т. п. Во всех подобных случаях выставление отметки ученику имеет педагогический смысл, стимулируя познавательную деятельность и воспитывая отношение к учебе.

ВОПРОС: Какие существуют критерии для оценивания в формате языкового тестирования учебных результатов школьников?

ОТВЕТ: Всеобщий европейский стандарт предлагает критерии для определения уровней овладения иностранным (английским) языком у учащихся и соответственно для «взвешивания» сложности языкового теста. (Council of Europe: Common European Framework of Reference for Languages. http://ru.wikipedia.org/wiki/Общеевропейские_компетенции_владения_иностранным_языком)

Для оценивания умения читать с пониманием и воспринимать на слух соответственно письменные и устные тексты разных видов и жанров, а также осуществлять общение на иностранном языке применяются соответствующие критерии и показатели (см. таблицу).

Из таблицы видно, что если на уровне A1 (Beginner, Elementary) учащиеся должны понимать знакомые фразы и выражения, то на уровне A2 (Pre-Intermediate) от учащихся ожидается понимание часто встречающихся слов, словосочетаний, выражений и фрагментов речи. На уровне B1 (Intermediate — «пороговом») учащимся необходимо понимать основные идеи четко и лаконично построенных сообщений. На уровне B2 (Upper-Intermediate — «превышение порогового уровня») школьники, успешно освоившие образовательный курс иностранного языка среднего (полного) образования, демонстрируют умение понимать общее содержание сложных текстов на абстрактные и конкретные темы. Далее следуют уровни C1 (Advanced) и C2 (Proficient), достижение которых необязательно для выпускников. Вместе с тем, как предлагает Примерная основная образовательная программа, в школе создаются условия, в соответствии с которыми отдельные, наиболее способные, учащиеся «смогут овладеть» речевыми умениями повышенной сложности.

Отметим, что уровня B1 (порогового) должны достигнуть учащиеся, успешно освоившие образовательный курс «Иностранный язык» среднего (полного) общего образования. Уровня B2 (превышающего пороговый) обычно достигают успешные выпускники классов и школ с углубленным изучением иностранного языка.

Оценивание продуктивной речи учащихся относится к наименее надежным областям языкового тестирования. Причина заключается в том, что устная или письменная речь представляет собой «недискретный» конструкт, состоящий из единого целого и не разделяемый на элементы. Считается, что надежность межэкспертной согласованности выставляемых баллов в оценивании продуктивной устной или письменной речи (inter-rater reliability) относительно низкая.

Тестирование рецептивной речи или лингвистического компонента коммуникативной компетенции учащихся возможно в «дискретной» форме, когда на каждый вопрос можно дать правильный или неправильный ответ. В этом случае при наличии «ключей» расхождение между баллами, выставляемыми разными экспертами, невозможно.

Для того чтобы повысить надежность и точность тестирования продуктивной речи, применяются специально разработанные критерии. Умение оценивать продуктивную речь учащихся формируется у экспертов в ходе профессионального тренинга.

Возможными критериями оценки устного ответа учащихся в тестовых заданиях типа «выражение мнения», «комментирование изображения», «аргументация идеи» могут быть следующие:

• релевантность, то есть соответствие содержания устного высказывания поставленной коммуникативной задаче;
• качество, то есть надежность, научность, конкретность и точность сообщаемой информации для решения поставленной коммуникативной задачи;
• количество, то есть адекватный поставленной коммуникативной задаче и достаточный объем сообщаемой информации;
• манера, то есть соблюдение правил речевого этикета, четкая и организованная речь, логика, зрительный контакт и обращенность к аудитории;
• конвенциональность, то есть выполнение условий коммуникативного задания в ситуации языкового тестирования.

Для оценивания творческого самостоятельного письменного высказывания учащихся с элементами рассуждения можно, дополнительно к существующим критериям, использовать следующие:

• оформление эссе (логично выделяемые абзацы, использование связующих слов и союзов, соблюдение заданного объема слов);
• язык эссе (лексические средства, грамматическая норма, аутентичность речи);
• содержание эссе (цельность идеи, соответствие теме, доказательность аргументов, зрелость содержания).

Заметим, что критерии оценивания продуктивной речи учащихся в ситуации языкового тестирования постоянно совершенствуются. Это особенно актуально для экзаменов повышенной ответственности, к которым относится ЕГЭ.

ВОПРОС: Как перевести баллы тестирования в традиционную для российской школы отметку?

ОТВЕТ: В различных областях знаний (дидактике, психологии, физиологии) нередко возникает необходимость перевести «сырые» баллы измерений в стандартизованную шкалу, например в пятибалльную систему выставления отметок. Переводить баллы в стандартизованную шкалу бывает необходимо и удобно в тех случаях, когда разные тесты предусматривают получение разного максимального балла («из 50», «из 75», «из 100» и т. п.). Например, максимальное количество баллов, которые могут получить учащиеся по ГИА и ЕГЭ, не совпадает. В качестве альтернативы баллы можно перевести в проценты.

В российской школе баллы тестов переводят в привычные отметки, следуя традиции, так как «пятерка» ассоциируется не столько с максимальным количеством баллов, сколько с бесспорным одобрением учебного результата. Аналогично «двойка» несет в себе не столько информацию о реально набранных баллах, сколько содержит педагогическое порицание ученику. Отметка «единица» предусмотрена Примерной основной образовательной программой, однако крайне редко используется в педагогической практике.

Отметка выставляется ученику учителем всегда на основе комплексного видения педагогом всех обстоятельств обучения и учения, действий ученика в ситуации языкового тестирования, а также реально возможных показателей теста в конкретном классе, школе или регионе. Именно поэтому существующие шкалы перевода баллов теста в пятибалльную систему отметок допускают подвижные границы между количеством баллов, соответствующих «пятерке», «четверке» и проч. Международная практика свидетельствует о том, что количество баллов языкового тестирования менее 60 соответствует неудовлетворительной отметке или заключению «не сдано».

Отметим также, что при переводе баллов теста в пятибалльную систему возникает необходимость принимать решение по принципу «грубого перехода» от одной отметки к другой на основании всего лишь одного балла.

ВОПРОС: Какой существует опыт перевода результатов языкового тестирования в пятибалльную отметку?

ОТВЕТ: Решение о соответствии количества баллов, полученных учеником за языковой тест, выставляемой ему отметке по пятибалльной системе нередко принимается самими учителями в своем учебно-методическом объединении. Решения, предлагаемые учителями, нередко интересны и полезны. Педагоги-практики учитывают, с одной стороны, реальное соответствие результатов выполненного теста достигнутому уровню коммуникативной компетенции школьников. С другой стороны, делается попытка избежать формализма и механического приравнивания баллов языкового тестирования к привычным для учащихся пятибалльным отметкам.

Покажем, в качестве примера, возможную шкалу перевода тестовых баллов в отметки:

Предлагаемая шкала имеет свои отличительные особенности.

Во-первых, чем выше отметка, выставляемая учителем, тем более узким становится диапазон допустимых баллов языкового тестирования. Если «удовлетворительно» можно получить в диапазоне 20 баллов, то есть от 61 до 80, то отметку «хорошо» можно получить в диапазоне 15 баллов, а для отметки «отлично» необходимо набрать баллы в диапазоне всего пяти пунктов — от 95 до 100.

Во-вторых, предлагаемая шкала предусматривает определенный диапазон педагогических решений, принимаемых учителем о выставляемой ученику отметке. В пределах этих диапазонов учитель имеет право варьировать свою отметку ученику с учетом ряда значимых, по его мнению, педагогических обстоятельств. Например, учитель имеет право поставить ученику отметку «отлично», расширив диапазон 96–100 баллов до диапазона 91–100 баллов по результатам языкового теста.

В-третьих, предлагаемая шкала перевода баллов языкового теста в традиционную для России пятибалльную отметку позволяет использовать процедуру оценивания не только с целью педагогических измерений учебных достижений, но и воспитания учащихся, поощрения за труд, старательность, ответственность и другие ценные личностные качества.

ВОПРОС: Как следует переводить результаты ГИА и ЕГЭ в баллы?

ОТВЕТ: В процедуре перевода результатов ГИА в пятибалльные отметки в 2013 году, как и в прошлые годы, была рекомендована следующая шкала: 0–8 баллов — отметка «2», 9–17 баллов — отметка «3», 18–26 баллов — отметка «4», 27–33 баллов — отметка «5». Данная шкала носит рекомендательный характер и может быть изменена территориальной экзаменационной комиссией в российских регионах.

В последние годы результаты языкового тестирования на Едином государственном экзамене в традиционные пятибалльные отметки не переводятся.

ВОПРОС: Сохранится ли традиционная пятибалльная отметка в российской школе?

ОТВЕТ: Возможно в будущем, следуя международной практике, перевод баллов языкового тестирования на ответственных интеллектуальных испытаниях по итогам начальной, основной и старшей школы, будет отменен. Результаты теста будут оцениваться в количестве набранных баллов или переводиться в стандартные показатели по единой оценочной шкале. Например, во многих странах результаты тестирования переводят в «процентили», по которым можно узнать место любого ученика, выполнившего тест, среди общих показателей других учащихся в масштабах школы, города, региона и страны в целом. Например, если у ученика 95-й процентиль, то 95% учащихся имеют результат тестирования, ниже этого ученика.

Отметка по пятибалльной системе за результаты экзаменов в форме теста, вероятно, уйдет в прошлое.

Вместе с тем есть определенные педагогические основания прогнозировать, что отметка учителя в процессе текущего контроля учебных достижений учащихся, следуя доброй российской традиции, сохранится в нашей школе в обозримом будущем.