Проверка множественных гипотез: p-values, permutation test, FDR – основные идеи (на уровне махания руками) p-value Философский подход: всё плохо: НУЛЕВАЯ ГИПОТЕЗА ‘cdf’ = Cumulative Distribution Function P-values & Bayesian paradigm • p-value – это условная вероятность, годится! • Условная вероятность ЧЕГО? Один исход vs хвост • Нормировка P-value • Параметрические тесты • Непараметрические • Комбинаторные (Фишер) • Пермутации Точный тест Фишера Удивительное – рядом. Нам нужен p-value(OR) а мы его считаем как сумму числа способов разложить истории болезней по ящикам. Тест Фишера: почему это работает? • Интуиция – какие события вообще бывают. • Правильная параметризация – со значением написанным в уголке монотонно меняются и ассоциация, и число способов маркировки историй болезни. • Легко считается стат. сумма Дискриминационные задачи Конфетки и не-конфетки Ошибки первого и второго рода. I : FP Не-конфетку приняли за конфетку II : Конфетку не признали. Мощность – 1-p(II) Лирическое отступление p-values , посчитанные из распределения случайной величины, распределены равномерно Лирическое отступление 2-го порядка: преобразование плотности распределения ξ – случайная величина; ρ(ξ) – плотность её распределения; g(ξ) – функция этой случайной величины; ρ(g(ξ)) – её плотность Лирическое отступление p-values , посчитанные из распределения случайной величины, всегда распределены равномерно Лирическое отступление и определение p-value Вычисленная из плоского распределения вероятность того, что ξ более или так же маргинальна как ξ0, то есть обладает меньшим или равным p-value, совпадает с определением p-value. Множественность гипотез Пусть мы получили результат с хорошим p-value. И что? Результаты серии N экспериментов: 0 ≤ p1 ≤ p2 ≤ p3 ≤ p4 ≤ …….. ≤ pN Бонферрони: все p умножить на N Вспоминаем ЛО лирическое отступление: это pi – они же вероятности оказаться слева от pi Bland, J. M. and D. G. Altman (1995). Multiple significance tests: the bonferroni method. BMJ (Clinical Research Ed.) 310 (6973), 170. PMID: 7833759. Контроль частоты ошибок 0≤p1 ≤ p2 ≤ p3 ≤ p4 ≤ …….. ≤ pN ло Контроль частоты ошибок: хочется назвать номер n, такой что все эксперименты с i ≤n нас устраивают, а остальные – нет. Зададим число α : вероятность того, что хотя бы один результат из хороших получен случайно, не превосходит α. max i: Npi ≤ α 1) Чиним ошибку 1 рода, получаем 2 рода – слишком строгий отбор (теряем мощность). 2) Независимость (below: WY) 3) А что мы вообще хотим от этой серии экспериментов? (below: FDR) FWER : FamilyWise Error rate – ни одного урода в семье!!! Семья – это те, что прошли тест Говоря точнее, α – это вероятность семьи с уродом. Это – тот же Бонферрони Пермутации по Westfall-Young Хочу другие p-values, и пусть они уже знают про множественность гипотез, а про независимость испытаний их вообще не волнует! Westfall, P. H. and S. S. Young (1993). Resamplingbased multiple testing. John Wiley and Sons. 0 ≤ p1 ≤ p2 ≤ p3 ≤ p4 ≤ …….. ≤ pN – наши p-values Перемешиваем исходные данные M раз так, чтобы они стали как можно менее осмысленными, но выглядели как исходные. 0 ≤ p11 ≤ p12 ≤ p13 ≤ p14 ≤ …….. ≤ p1N 0 ≤ p21 ≤ p22 ≤ p23 ≤ p24 ≤ …….. ≤ p2N 0 ≤ p31 ≤ p32 ≤ p33 ≤ p34 ≤ …….. ≤ p3N ….. ….. ….. ….. ….. ….. ….. ….. ….. 0 ≤ p M1 ≤ p M2 ≤ p M3 ≤ p M4 ≤ … ≤ p MN ОЧЕНЬ МЕДЛЕННО! FDR Тест был применён к куче единичных испытаний. Некоторые из них прошли тест, некоторые нет. Некоторые были на самом деле сигналом, некоторые – шумом. Test passed Test failed True TP FN False FP TN p = E(FP/(FP+TN)) FDR =E(FP/(FP+TP)) Для оценки p-value было достаточно знать нулевую модель (она же шум). Для FDR – ещё и модель сигнала. Benjamini, Hochberg 0 ≤ p1 ≤ p2 ≤ p3 ≤ p3 ≤ p4 ≤ …….. ≤ pN Мы хотим контролировать FDR на уровне α. max i : Npi / i ≤ α i – это число тех, кто прошёл тест, то есть FP+TP Npi - оценка FP ; как и Бонферрони, предполагает независимость. Benjamini, Y. and Y. Hochberg (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society. Series B (Methodological) 57 (1), 289-300. Storey, Tibshirani Это наблюдённое распределение (генов). Значения пересчитаны в p-values исходя из предположительной модели шума. Общая площадь под графиком, естественно, 1 Вспомним лирическое отступление. Правый хвост (правее γ) распределения p-values содержит почти только шум. Теперь мы можем приблизительно разделить сигнал и шум!!! Storey, J. D. and R. Tibshirani (2003, August). Statistical significance for genomewide studies. Proceedings of the National Academy of Sciences of the United States of America 100 (16), 9440{9445. PMID: 12883005. Миронов S1 ≥ S2 ≥ S3 ≥ ≥…. ≥ SN p(S1) ≤ p(S2) ≤ p(S3) ≤ …. ≤ p(SN) p(Si)=P(S ≥ Si) для нулевой гипотезы Выбираем порог i, который отделит ‘сигнал’ 1..i от ‘шума’ i+1..N Модель: N испытаний. Успех – побили Si. Успехов больше или равно i. Выбиремиi : P(i) = P(как минимум i значений S из N оказались ≥ Si) минимальна. Olga V. Kalinina, Pavel S. Novichkov, Andrey A. Mironov, Mikhail S. Gelfand, and Aleksandra B. Rakhmaninova. SDPpred: a tool for prediction of amino acid residues that determine differences in functional specificity of homologous proteins // Nucleic Acids Res. 2004 July 1; 32(Web Server issue): W424–W428. doi: 10.1093/nar/gkh391. PMCID: PMC441529 Кажется, всё. Спасибо Андрею Миронову, Кате Ермаковой и Майку Оксу.