«Не думайте, что сделать систематический обзор и мета-анализ просто. Это обманчивое впечатление»
НУЛ СОН полностью освоила цикл подготовки мета-анализов, важнейшего типа современных работ, обобщающих множество исследований в той или иной области, и обычно высокоцитируемых. Был зарегистрирован и опубликован протокол подготовки, затем выполнен сам мета-анализ.
По свежим следам публикации статьи Вера Титкова и Валерия Александровна Иванюшина рассказывают о том, что такое мета-анализ, чем он отличается от других типов работ, и почему такие обзоры важны.
Одно из исследовательских направлений НУЛ СОН, на которое потрачено немало сил и уже есть публикации, это изучение социального взаимодействия и поведения подростков в школах. Кто с кем дружит? Кто кого не любит? Какое влияние друзья оказывают на поведение друг друга? И много других вопросов, связанных с социальными сетями подростков, их развитием и благополучием. Для российских образовательных учреждений лонгитюдные исследования в новинку, тем более сетевые. Мы стали первыми в СПб, кто запустил два успешных лонгитюда, посвященных исследованию здоровья и рискового поведения подростков (с 2012 по 2020 гг). Сперва мы хотели изучить, как в коллективах студентов колледжей и техникумов, которые только-только начали учиться вместе (de novo), происходит распространение рисковых для здоровья практик. В частности, употребление алкогольных напитков. Занимаясь этой темой, постепенно мы поняли, что проведено достаточно аналогичных исследований в школах по всему миру, и есть необходимость их систематизировать и обобщить. Поэтому мы обратились к такому методу, как мета-анализ.
Все мы привыкли писать обзоры, и каждый на свое усмотрение решает, какие статьи упоминать в нем, а какие нет. Отличительный критерий систематического обзора – четкие правила отбора статей, которые будут включены в обзор или, наоборот, исключены из него. Синтезируя статистические оценки эффектов и проверяя их, мета-анализ становится объективным подтверждением дискуссии, которая освещается в обозреваемых исследованиях. Четкие правила и статистический анализ делают работу по систематизации научных результатов «прозрачной» и воспроизводимой (Borenstein et al. 2009).
Систематические обзоры и мета-анализ применяются во всех научных областях, особенно в медицине для подтверждения эффективности определенного метода лечения или профилактических мероприятий. В социальных науках мета-анализ применяется к самому широкому кругу вопросов: оценка эффективности поведенческой терапии для предотвращения депрессии или при повышенной тревожности у подростков (Li et al. 2021, Chiu et al. 2021), эффективности вмешательств для продвижения физической активности или здорового питания среди школьников (Kelso et al. 2020, Saavedra et al. 2020), распространения правонарушений, буллинга, агрессии (Nurjan et al. 2019, Katsaras et al. 2018, Ng et al. 2020) и т.д.
Мета-анализ всецело опирается на первичные исследования: если в них анализ проводится с помощью линейной регрессии, то и результаты мета-анализа будут оценивать среднюю для зависимой переменной; если это логистическая регрессия, то и в мета-анализе оценивается отношение шансов. Из этого описания становится понятным, что одно из ключевых правил проведения мета-анализа – единообразие. Оно должно соблюдаться во всех первоисточниках: например, всегда зависимая переменная - алкогольное потребление, измеренное в частоте распития спиртных напитков; всегда один и тот же метод анализа – стохастическое агент-ориентированное моделирование (Stochastic actor-oriented models - SAOM); и всегда изучается поведение подростков от 11 до 19 лет. О правилах и задачах мета-анализа вы можете подробно прочитать в учебнике Borenstein и коллег «Introduction to Meta-Analysis» и Higgins и коллег «Cochrane Handbook for Systematic Reviews of Interventions».
SAOM – это метод анализа коэволюции поведения и социальных сетей, позволяющий оценить эффекты влияния и селекции (Ripley et al. 2020). В некоторых подростковых коллективах распространено распитие алкогольных напитков, потому что это дружба по интересам, и каждый выбрал себе такого же пьющего друга как он сам; или же подростки повлияли на поведение друг друга и вовлекли в рисковое поведение непьющих ребят? Научное сообщество – социологи, психологи, медики и педагоги, провели огромное количество исследований влияния друзей на алкогольное поведение подростков, данный метод появился относительно недавно и уже широко распространился для анализа лонгитюдных данных о поведении и дружеских отношениях подростков в школах. Одни исследования находят подтверждение тому, что за вовлечением в рисковое поведение стоит эффект выбора, другие, наоборот, сетуют на эффект влияния. И поскольку в Лаборатории мы также проводим такие исследования, нам было интересно систематизировать имеющиеся в научном сообществе результаты по этой теме.
Как мы писали выше, данный тип исследовательской работы требует четкого соблюдения правил, которые изложены, например, в the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). В зависимости от типа систематического обзора/анализа существуют разные наборы критериев оценки. Кроме этого существуют и определенные рекомендации, которые стоит соблюдать. Основная рекомендация – регистрация своего исследования в международной базе PROSPERO. Здесь вы указываете свою тему, исследовательскую задачу и многое другое. Это нужно для того, чтобы избежать дублирования тем мета-анализов, т.к. от заявки темы и самого результата может пройти достаточно много времени (в нашем случае 2 года). Поскольку систематизация научного знания по любой теме требует от исследователей большой работы. Следующая немаловажная рекомендация – публикация протокола работы. Протокол – это своего рода пресс-релиз того, чему будет посвящен ваш мета-анализ, какие первоисточники будут собираться, какая группа населения будет исследоваться и т.д. Включая то, что может привести к искажению результатов мета-анализа (например, publication bias). Его публикация не обязательна, но весьма желательна, потому что уже на этапе постановки идеи и сбора данных ваша работа пройдет рецензирование у коллег, и вы сможете учесть комментарии и советы еще до того, как провели анализ первоисточников. Для нас публикация протокола - очень ценный и полезный опыт, т.к. это первый мета-анализ в нашей научной практике.
Не думайте, что сделать систематический обзор и мета-анализ просто. Это обманчивое впечатление. И степень того, насколько будет сложно, зависит от темы. Вы можете найти 40 статей соответствующих всем критерием для включения в работу, а можете найти 2000, и со всеми первоисточниками так или иначе вам придется ознакомиться. Согласитесь, прочитать 2000 аннотаций – это уже трудозатратно, а именно от отбора первоисточников во многом зависит качество и достоверность ваших результатов.
Существуют также и другие сложности - методические. Так, мы столкнулись с тем, что для лонгитюдных сетевых исследований нет разработанного списка правил оценки рисков первоисточников. Имеется в виду, что каждый первоисточник должен быть оценен, насколько он может привести к искажению результатов мета-анализа. Если для медицинских исследований такой чеклист есть и не один, и все прошли многолетнюю проверку (например, если проводится оценка эффективности лекарства, то важное условие эксперимента – человек не должен знать, получил он плацебо или лекарство – должно соблюдаться в исследовании, описываемом первоисточником), то для лонгитюдных сетевых исследований его просто не существует. Поэтому отдельной методологической задачей для нас, было опираясь на опыт коллег, проводивших подобное исследование и работающих с SAOM, разработать свои критерии оценки рисков. Например, SAOM чувствителен к большому числу миссингов. И если первоисточник указывает на такую проблему, но никак ее не решает, то мы отмечаем, что для нас здесь есть риск искажения результатов.
Как и в любом исследовании в этой работе есть свои сложности, но, как и в поле, это может быть очень интересно.
Протокол мета-анализа:
Ivaniushina V. A., Titkova V., Alexandrov D. A. Peer influence in adolescent drinking behaviour: a protocol for systematic review and meta-analysis of stochastic actor-based modeling studies // BMJ Open. 2019. Vol. 9. No. 7. P. 1-5.
https://publications.hse.ru/en/articles/302946470
Статья:
Ivaniushina V., Titkova V. Peer influence in adolescent drinking behavior: A meta-analysis of stochastic actor-based modeling studies //PLoS one. 2021. Т. 16. №. 4. С. e0250169.
https://publications.hse.ru/articles/469308871