Методологические трудности при проведении систематических

Методологические
трудности при проведении
систематических обзоров
и пути разрешения
О.В.Борисенко
Исполнительный директор
МОООФИ
Собственный опыт
• Проведение систематического обзора (обновление)
«Антибиотикотерапия острого гайморита у взрослых»
• Работа продолжалась с 2005 по 2008 гг.
• Центральная организация – Финский офис по оценке
медицинских технологий (FinOHTA) в структуре центра
STAKES
• Работы выполнялась в программе ReviewManager
4.2.10
• Ahovuo-Saloranta A, Borisenko OV, Kovanen N, Varonen
H, Rautakorpi UM, Williams Jr JW, Mäkelä M. Antibiotics
for acute maxillary sinusitis. Cochrane Database of
Systematic Reviews 2008, Issue 2. Art. No.: CD000243.
DOI: 10.1002/14651858.CD000243.pub2.
Инструкция
• Cochrane Reviewers’ Handbook –
руководство на сайте Кокрановского
Сотрудничества
• www.cochrane.org
Общая позиция
Расчеты, математика – самое
последнее дело при
проведении обзора, в
основе – отбор и анализ
валидности исследований
Команда
• Клиницист, ориентирующийся в
проблеме, знакомый с выполненными и
продолжающимися исследованиями
• Автор(ы) – не обязательно врач,
специальность не имеет значение
• Специалист по поиску информации (в
рабочей группе Сотрудничества есть
собственные специалисты)
Декларация конфликта
интересов
• Обязательна для всех исследователей
• Декларация имеющегося конфликта
интересов в конечной публикации –
решается редакторам и авторами
обзора совместно
Тема обзора и критерии включения
публикаций – PICO-подход
•
•
•
•
P (patients) - пациенты
I (interventions) - вмешательство
C (comparators) - контроль
O (outcomes) – исходы (результаты)
Частая критика методики мета-анализа – в
сравнении несравнимого. Степень
сравнимости исследований определяется
критериями включения публикаций
P - пациенты
• Взрослые (старше 12 лет), исследования
включались, если не более 20% пациентов
младше 18 лет
• Клинический диагноз (от 7 до 30 дней,
минимум – 2 симптома) или диагноз,
подтвержденный рентгенологически (Rx,
УЗИ, КТ) или микробиологически (аспират,
полученный эндоскопически или при
пункции)
• Острый синусит (менее 30 дней,
исследования включались, если данные
доложены отдельно или 80% пациентов
имели острый синусит)
I и C- вмешательство и контроль
Позиция исследования:
общество или производитель?
• Обществу интересно: нужно ли лечить
острый синусит?
• Производителям интересно (конечно
лечить!): чем лечить?
• Первостепенные сравнения: антибиотики и
плацебо
• Второстепенные сравнения: разные классы
антибиотиков
О – исходы (результаты)
•
•
•
•
•
•
•
•
•
•
Первичные
Неудача терапии клинически на 7-15 сутки после начала
лечения (отсутствие выздоровления и улучшения)
Неудача терапии клинически на 16-60 сутки после начала
лечения (отсутствие выздоровления и улучшения)
Вторичные
Неудача терапии клинически на 7-15 сутки после начала
лечения (отсутствие выздоровления)
Неудача терапии клинически на 16-60 сутки после начала
лечения (отсутствие выздоровления)
Бактериологически-подтвержденное излечение
Радиографически-подтвержденное излечение
Рецидив
Выход из исследования из-за побочных эффектов
Качество жизни
Исследование направлено на
Пропуски работы (учебы)
оценку клинических результатов
Узко или широко определенный
вопрос?
• Зависит от ряда факторов:
• Влияние (значимость) фактора
• Имеющаяся поддерживающая
теоретическая, эпидемиологическая
информация
• Обобщаемость и валидность ответов на
вопросы
• Доступные ресурсы
Этапы выполнения обзора
• Формулирование проблемы (клинического
вопроса)
• Идентифицирование и отбор релевантных
публикаций
• Оценка качества публикаций
• Выкопировка данных из исследований
• Анализ и представление данных
• Интерпретирование результатов
• Улучшение и обновление обзора
• Все несогласия разрешаются методом консенсуса
Поиск публикаций
• Medline
• EMBASE
• Кокрановский регистр контролируемых исследований
CENTRAL
• Библиография включенных в предыдущий обзор
статей
• Библиография обзорных публикаций
• Неопубликованные исследования
• Возможен также:
• Ручной поиск в профильных изданиях, трудах
конгрессов и конференций
• Поиск продолжающихся исследований
• Поиск данных о нежелательных побочных реакций
(Medwatch, HealthCanada, AADRB и др.)
Валидность исследований – основные виды
систематических ошибок – методы профилактики
• Ошибка отбора (систематические различия в
группах сравнения) – рандомизация и
сокрытие назначения
• Ошибка выполнения (систематические
различия в оказании помощи) –
«ослепление»
• Ошибка приверженности (систематическая
ошибка при выпадении участников)
• Ошибка оценки результатов
(систематические различия в оценке
результатов) – «ослепление»
Сокрытие назначения и
«ослепление»
• Не одно и то же
• Сокрытие назначения – процесс обеспечения
сокрытия результата рандомизации – для
профилактики ошибки отбора
• В отличии от «ослепления» всегда возможна
• Подходы: централизованное распределение,
закодированные контейнеры с лекарством,
закодированные конверты с назначением,
компьютерная система с кодированием
информации о пациентах
• Подходы к «ослеплению»: одинаковая форма, вид,
частота применения ЛС и др.
Оценка качества публикаций
• Рандомизация: адекватная (А), использовалась,
но метод не уточнен (В), неадекватная (С), не
использовалась (D)
• Исследования без рандомизации и с
использованием квази-рандомизации исключались
• Наличие «ослепления»
• Выпадение участников исследования (без
указания причин) – при выпадении более 35%
больных – исследование исключалось
• Сопоставимость групп на момент начала
исследования (сопоставимы/не сопоставимы)
• Дополнительно оценивался источник
финансирования
Существуют подходы, основанные на использовании шкал оценки
качества публикаций, однако они требуют много времени для
заполнения
Оценка риска систематической ошибки
(Cochrane Handbook for Systematic Reviews of Interventions 4.2.5 (section 6.7)
(Higgins 2005) )
• А – низкий риск ошибки (вероятная ошибка
не влияет на результаты) – если все
критерии соблюдены
• В – умеренный риск ошибки (некоторые
сомнения в валидности результатов) – один
или более критерий частично соблюден
• С – высокий риск ошибки (серьезные
сомнения в результатах исследования) один или более критерий не соблюден
Исследование с низким риском ошибки:
рандомизированное, двойное-слепое, сравнимые
группы, имеется информация о выбывших пациентах
Оценка исходов (результатов)
• Оценка показателей относительного риска с 95%
доверительным интервалом
• Анализ per-protocol (пациенты, получившие
полный курс лечения)
• Анализ согласно распределению в группы
(Intention-to-treat analyses) (пациенты,
прекратившие курс преждевременно,
некомплаентные, выбывшие пациенты,
неправильное лечение, «потерянные» пациенты)
• Пациенты, выбывшие в соответствии с
протоколом, не вносят ошибку в результаты
исследования
Анализ согласно
распределения в группы
• 2 критерия:
• Участники включаются в анализ вне
зависимости от полученного лечения –
широко принимается («анализ доступных
случаев»)
• Участники включаются в анализ вне
зависимости от наличия результатов
(исходов) – принимается не всеми (в
Кокрановском Сотрудничестве принимается)
Согласно протоколу vs.
согласно распределению?
• Согласно протоколу – ближе к оценке
действенности, подвержен влиянию
систематической ошибки, возможное
искажение результатов
• Согласно распределению – ближе к
оценке эффективности (модель
реальной практики) –
предпочтительный вид анализа
Значительная проблема –
отсутствующие данные
• Т.е. данные выбывших пациентов без указания
причин
• 3 подхода к разрешению (термин – imputation):
• Считать результаты выбывших пациентов
отрицательными (у всех – неудача терапии)
• Считать результаты выбывших пациентов
положительными (у всех – успех терапии)
• Перенести имеющиеся результаты об
эффективности на группу выбывших пациентов
(доля с успешной терапией)
Анализ данных выбывших
пациентов
• Моделирование (imputation) результатов
использовалось только для сравнения
антибиотиков и плацебо
• Для сравнения антибиотиков
моделирование не использовалось
Анализ чувствительности
• Изменение критериев включения для
исследований (пациенты, лечение,
контроль, результаты)
• Включение некоторых исключенных
исследований
• Повторный анализ с моделированием
результатов выбывших пациентов
• Анализ с использование различных
статистических методик
Включенные исследования
• При поиске найдено 2030 статей
• Отброшено 1761 статей
• После проверки отобрано 269
полнотекстовых публикаций (английский,
китайский, немецкий, португальский, русский,
французский, японский языки)
• Отброшено 117 статей – отобрано 152 статьи
• Включено в обзор 60 статей, описывающих 57
исследований (из них 6 плацебоконтролируемых РКИ – 3 из Норвегии, 1 из
Швеции, 1 из США и 1 из Нидерландов)
Антибиотики vs. плацебо
(неудача клинически)
Антибиотики vs. плацебо
(рецидив и выпадение участников)