Как проверить валидность исследования и получить консультацию в Гамбурге?
Ксения Тенишева с рассказом о своей поездке в Гамбург и ходе работ по статье «Conditional environmental effects of achievement on math self-esteem».
Младший научный сотрудник НУЛ СОН Ксения Тенишева с 17 по 20 декабря была в немецком городе Гамбурге, где находятся исследовательские центры, координируеющие сбор данных TIMMS и PIRLS. Цель поездки - консультация по поводу ее будущей статьи «Conditional environmental effects of achievement on math self-esteem».
В сентябре этого года я познакомилась с Aндресом Сандовал-Эрнандес и Пламеном Миражчийским, работающими в отделе исследований и аналитики при международном центре IEA. Еще при знакомстве они предложили обсудить мою статью с их коллегами, так я получила приглашение в Гамбург.
IEA c 1958 года проводит международные сравнительные исследования. На данный момент самыми известными и масштабными из них являются «близнецы» PIRLS и TIMSS. Это исследования успехов четырех- и восьмиклассников в чтении, математике и естественных науках, осуществялемые в более чем полусотне стран мира. Сравнительный характер данных объясняет и их сложность - не пройдя специального тренинга, довольно сложно разобраться во всех хитростях работы с материалами.
Таким образом, раз в четыре года собирается уникальная и крайне интересная информация не только об успеваемости, но и о ценностных установках учащихся, школьном климате и домашних условиях в разных странах. Помимо опросника для учеников, IEA готовит анкеты для родителей, учителей и директоров. Это выгодно отличает TIMSS и PIRLS от более известной и раскрученной программы оценки школьников PISA, организованной OECD.
Андрес и его коллеги не только знают все о данных TIMSS и PIRLS, но и знакомы с тематикой исследований, которые интересны нашей Лаборатории. Так, Андрес сейчас публикует статью, посвященную новому подходу к технике моделирования структурными уравнениями (SEM) вместе с Оливером Людтке, одним из главных соавторов Герберта Марша. Эту технику мы регулярно применяем в наших исследованиях.
В целом же вся деятельность центра направлена на изучение «добавленной стоимости» (value-added) разных характеристик для образовательных успехов школ и целых стран и связи разных факторов с успеваемостью по разным предметам. Также активно ведется подготовка отчетов для политиков, работающих в сфере образования. Такие масштабные межстрановые исследования проводятся во многом именно для того, чтобы подготовить экспертное сравнение системы образования в разных государствах, за счет чего учиться друг у друга лучшему.
Вот уже несколько месяцев я работаю над проектом, посвященным изучению эффекта «большой рыбки в маленьком пруду» по Маршу и на основе данных TIMSS. С первыми нашими находками по этой теме я выступала на конференции в Кадисе и не так давно – на семинаре в честь дня рождения НУЛ СОН.
Мы интерпретирую полученные результаты в рамках теории социального сравнения и концепта воспринимаемой славы (reflected glory). Ученики выстраивают представление о своих способностях в соответствии с успехами их одноклассников. И чем лучше учатся окружающие, тем выше должны быть успехи индивида, чтобы он был уверен в себе и не испытывал угнетения в результате сравнения. В то же время, школьники ориентируются и на статус их класса или учебного заведения: те, кто учится в действительно «крутых» математических школах, будут лучше думать о своих способностях по математике, несмотря даже на скромные успехи в этой сфере. При этом самые успешные ученики оказываются одинаково уверенными в себе как в лучших, так и в худших школах.
Полученные результаты подтверждают все аспекты эффекта Марша, кроме одного. Мы не обнаружили отрицательного влияния средней успеваемости на уверенность учащегося в своих силах, а этот эффект является ключевым для концепции (чем выше средний балл, тем успешнее класс/школа, т.е. «больше пруд»). Прежде чем публиковать уже практически готовую статью, мне было необходимо убедиться в отсутствии ошибок в расчетах, для чего я и поехала к коллегам в Гамбург.
Мой трехдневный визит начался с коллоквиума, на котором я презентовала наше исследование. Остальные два дня мы плотно работали непосредственно с данными, проверяя мои вычисления. Я была приятно удивлена, получив большое количество конструктивной критики, которой часто так не хватает при выступлениях на разных конференциях. Хотя слушателей было немного, они представляли все важные отделы IEA: анализ данных, формирование выборки (sampling), подготовка первичных отчетов. Это исследователи, которые уже не первый год работают с действительно непростыми данными TIMSS и PIRLS, готовят опросники, составляют стратифицированные выборки для настолько разных стран, как Америка, Катар и Россия. Именно они придумали сложный способ подсчета результатов тестов по математике, науке и чтению – plausible values – который позже был перенят и OECD, организующим PISA. Выслушивать критику от таких специалистов было и немного страшно, и очень радостно.
Большинство комментариев касалось улучшения моделей и дальнейшего развития исследования. Никто не критиковал методологическую и концептуальную рамку проекта, что часто случалось на конференциях. Как затем выяснилось, главная проблема заключалась в том, что я неверно работала с plausible values по математике: необходимо считать отдельную модель для каждого из значений (всего их пять), а уже затем вычислять итоговый коэффициент. В остальном же мне рекомендовали попробовать проверить, как работает моя модель на большем количестве стран, включая Латинскую Америку (где очень легко отследить стратификацию в школьной системе) и арабский Восток (где стратификация видна, но при этом малоизученна).
По результату этой поездки проверенная статья совсем скоро выйдет в серии препринтов НИУ ВШЭ.
Подготовила Ксения Тенишева