В указе Владимира Путина «О национальных целях развития РФ на период до 2030 года» одним из ключевых показателей достижения цели «Возможности для самореализации и развития талантов» является вхождение России в число десяти ведущих стран мира по качеству общего образования. Как рассчитывается место нашей страны в мировом рейтинге и на какой позиции мы находимся после объявления результатов TIMSS-2019 – рассказывает наш обозреватель.
Как рождался показатель качества
При расчете места России в мировом рейтинге качества школьного образования учитываются результаты трех международных сопоставительных исследований: PIRLS (Международное исследование качества чтения и понимания текста), TIMSS (Международное исследование качества математического и естественно-научного образования) и PISA (Международная программа по оценке достижений учащихся).
В марте 2019 года Рособрнадзор опубликовал «Проект методологии и критериев оценки качества общего образования». Редакция ActivityEdu проанализировала проект и указала на его слабые места. В мае 2019 года приказами Рособрнадзора и Минпросвещения были утверждены «Методология и критерии оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся». В качестве универсального показателя, характеризующего место России относительно других стран, в документе предписано использовать «Средневзвешенный результат Российской Федерации в группе международных исследований, средневзвешенное место Российской Федерации (не ниже)». В декабре 2019 года в «Методологию» были внесены изменения.
Немного формул
Изначально место России в мировом рейтинге было предложено определять с учетом весовых коэффициентов, но затем формулу расчета упростили, и сейчас место нашей страны рассчитывается как среднее арифметическое мест, занятых российскими школьниками во всех международных исследованиях – PIRLS, TIMSS и PISA.
F00 – средневзвешенное место (в последней формуле – среднее арифметическое), Xi – место РФ в i-м исследовании, Xmax – максимальное из значений Xi, X1 – PISA по направлению «математическая грамотность» (далее в таблице – МГ), X2 – PISA по направлению «читательская грамотность» (ЧГ), X3 – PISA по направлению «естественно-научная грамотность» (ЕНГ), X4 – TIMSS (4-й класс) по математике (М4), X5 – TIMSS (4-й класс) по естествознанию (Е4), X6 – TIMSS (8-й класс) по математике (М8), X7 – TIMSS (8-й класс) по естествознанию (Е8), X8 – PIRLS (4-й класс) по качеству чтения и понимания текста (Ч).
Результаты расчетов
Исходные (базовые) значения средневзвешенного и среднего арифметического мест России рассчитывались по результатам PISA-2015, TIMSS-2015 и PIRLS-2016. В декабре 2019 года официально объявили результаты PISA-2018, что привело к обновлению показателей. Наконец, в начале декабря этого года стали известны результаты TIMSS-2019, что позволило рассчитать текущие значения средневзвешенного и среднего арифметического мест России.
Результаты расчетов сведены в таблицу.
Вниз по лестнице, ведущей вверх
Утверждая в мае 2019 года критерии оценки качества общего образования, чиновники Минпросвещения и Рособрнадзора были убеждены, что Россия начнет уверенное движение вверх в мировом рейтинге. Об этом свидетельствует иллюстрация на официальном сайте Минпросвещения в разделе, посвященном нацпроекту «Образование».
Сложно сказать, на чем основывался столь радужный прогноз. Скорее всего, завзятые оптимисты из профильного министерства и надзорного ведомства наивно полагали, что 15-летние российские школьники не окажутся по итогам PISA-2018 в четвертом десятке мирового рейтинга. По сути, оценка реального положения дел не проводилась, поэтому перед нами даже не прогноз, а всего лишь желаемый результат.
Надежды на восхождение в рейтинге не оправдались, и в декабре 2019 года, после объявления результатов PISA-2018, позиции России ухудшились: значение «средневзвешенного места России» оказалось равным 16,1, а не 12,5, как было запланировано. В декабре 2020 года, после объявления результатов TIMSS-2019, позиции России немного улучшились: текущее значение «средневзвешенного места России» составило 15,6. Динамика «средневзвешенного места», таким образом, выглядит следующим образом: 14,5 (2018, базовое значение) – 16,1 (2019, по плану нацпроекта – 12,5) – 15,6 (2020, по плану – 12).
Отказ от расчета «средневзвешенного места России в группе международных исследований» и переход к оценке среднего арифметического значения мест, занятых российскими школьниками, позволил слегка приукрасить картину: 13,3 (2018, базовое значение) – 14,9 (2019) – 14,5 (2020).
Критика показателя оценки качества
Разработчиков всевозможных показателей, основанных на вычислении средних арифметических значений, судя по всему, не впечатляет яркий пример «средней температуры по больнице», свидетельствующий о бесперспективности подобных метрик в некоторых сферах жизнедеятельности.
Мы уже писали, что подход Минпросвещения и Рособрнадзора к расчету места России в мировом рейтинге по качеству школьного образования в пух и прах раскритиковали аудиторы Счетной палаты (СП). В заключении СП сказано: «представляется целесообразным рассматривать результаты каждого исследования отдельно».
Россия по праву может гордиться первым местом в мире наших четвероклассников в PIRLS, но итоговое качество школьного образования целесообразно оценивать по результатам выпускников. Промежуточные результаты учащихся, в том числе на выходе из начальной школы, чрезвычайно важны для оценки правильности выбранного подхода к обучению, но не годятся для итоговой оценки уровня подготовки выпускников.
Предположим, требуется определить место России по трем исследованиям. По математической грамотности для 15-летних в PISA-2018 у нас 30-е место, по естественно-научной грамотности для 8-х классов в TIMSS-2019 – 5-е, по чтению и пониманию текста для 4-х классов в PIRLS-2016 – 1-е. Получаем среднее арифметическое – 12-е место. Только вот что мы получили, смешав в кучу результаты по математической, естественно-научной и читательской грамотности для 15-летних школьников, восьмиклассников и выпускников «началки»?
Ответить на этот вопрос просто: мы получили аналог бессмысленной «средней температуры по больнице», в нашем случае – среднее по разным направлениям и классам/возрастам место.
Если найти ответ на вопрос, почему наши четвероклассники по чтению и пониманию текста занимают 1-е место в мире, а 15-летние школьники – лишь 31-е, то можно рассчитывать на прогресс в качестве образования. Если же измерять среднюю или средневзвешенную «температуру по больнице», то можно разве что понастроить много красивых графиков для министерских отчетов.
К чему нужно стремиться
Российские школьники стабильно показывают отличные результаты в исследовании PIRLS, хорошие – в TIMSS и посредственные – в PISA. Участники панельной дискуссии «Вам не нравится PISA? Вы просто не умеете ее готовить!» на онлайн-конференции EdCrunch on Demand подробно объяснили причину столь разных результатов и обсудили, что нужно сделать, чтобы повысить уровень функциональной грамотности.
Отличные и хорошие результаты PIRLS и TIMSS не должны использоваться для маскировки посредственных результатов PISA за счет усреднения всех мест, занятых российскими школьниками в международных исследованиях. Рособрнадзору и Минпросвещения следует прислушаться к заключению СП и отказаться от показателя в виде средневзвешенного или среднего арифметического значения. Результаты, как предлагает СП, должны рассматриваться отдельно по каждому исследованию.
Мы сможем с уверенностью заявить о вхождении России в число десяти ведущих стран мира по качеству общего образования лишь после того, как наша страна попадет в десятку по всем видам функциональной грамотности в исследовании PISA. Пусть это произойдет не в следующем цикле, который пройдет в 2022 году, а в PISA-2025, но именно к этому нужно стремиться.
Результаты московских школьников, занявших в исследовании PISA-2018 3-е место в мире по читательской грамотности, 5-е по математической и 6-е по естественно-научной, свидетельствуют о том, что это вполне выполнимая задача. Разумеется, при условии, что будет взят на вооружение столичный подход: отличное финансирование школьного образования в целом и высокие зарплаты учителей в частности.
Вот только по силам ли нынешним командам Минпросвещения и Рособрнадзора, увлеченным процедурами формального тестирования в виде ВПР, «священных коров» нашего образования, и сбором бесконечных отчетов по результатам тестирования, решение этой задачи? Министр просвещения Сергей Кравцов до сих пор не предпринял ни единой попытки обеспечить учителям качественные условия работы: достойную зарплату при разумной учебной нагрузке. Опыт Москвы показывает, что это одна из важнейших составляющих высоких результатов, хотя, разумеется, далеко не единственная.