Hamis felfedezési arány

A statisztikában a hamis felfedezési arány (false discovery rate, FDR) egy többszörös összehasonlítást használó módszer az elsőfajú hibák arányának felderítésére nullhipotézis tesztelése során. Az FDR-kontrolláló eljárások feladata, hogy ellenőrizzék azon „felfedezések” (elvetett nullhipozézisek) várható eloszlását, amelyek hamisak (a nullhipotézis helytelen elvetése). ^[1] Az FDR-kontrolláló eljárások kevésbé szigorú ellenőrzést használnak az elsőfajú hiba kontrollálására, mint az FWER (familywise error rate) kontrolláló eljárások (mint a Bonferroni-korrekció), amelyek legalább egy elsőfajú hiba valószínűségét ellenőrzik. Ezért az FDR kontrolláló eljárások nagyobb statisztikai erővel bírnak, viszont magasabb számú elsőfajú hiba árán.^[2]

Története

Technológiai motivációk

Az FDR széleskörű használatához a technológiai fejlődés vezetett, amely lehetővé tette számos különböző változó együttes vizsgálatát egyénenként.^[3] Az 1980-as és 1990-es évekre az olyan gyorsan növekvő tudományterületek, mint a genomika - amely automatizáltan, rengeteg próbát vizsgál egyszerre -, lehetővé tették a gyors adatbeszerzést. Ez a számítástechnikai teljesítmény növekedésével párosulva lehetővé tette több ezer statisztikai teszt zökkenőmentes elvégzését egy adott adathalmazon.^[4]

Ahogy a nagy áteresztőképességű technológiák általánossá váltak, a technológiai és/vagy pénzügyi korlátok arra késztették a kutatókat, hogy viszonylag kis mintaméretet (pl. kevés tesztelt egyénnel) és mintánként nagyszámú változót (például génexpressziós szintek ezreit) dolgozzanak fel. Ezekben az adathalmazokban a mért változók közül kevés mutatott statisztikai szignifikanciát a többszörös összehasonlítási eljárások során használt klasszikus korrekciókat követően. Ez sok tudományos közösségben életre hívta az FWER és a kiigazítatlan többszörös hipotézis-tesztelések elhagyását annak érdekében, hogy más módokon emelhessék ki és rangsorolhassák azokat a változókat a publikációkban, amelyek egyéneken vagy kezeléseken keresztül jelentős hatást mutatnak, viszont nem szignifikáns eredményként elvetésre kerülnének a többszöri tesztelés szokásos korrekciója után. Erre válaszul számos olyan hibaarányra született javaslat, amely kevésbé konzervatív az FWER-nél a jelentős megfigyelések megjelölésében.

Irodalom

Az FDR koncepcióját Yoav Benjamini és Yosef Hochberg (1995)^[1] alkották meg (Benjamini–Hochberg-eljárás, BH-eljárás), amely egy kevésbé konzervatív eljárás és hatékonyan azonosítja a fontosabb hatásokat a sok egyéb hatás közül. Az FDR volt az FWER első olyan alternatívája, amely számos tudományos területen széles körben elfogadottá vált (genetikától a biokémiáig, az onkológiáig és a növénytudományig).^[3] 2005-ben így Benjamini és Hochberg tanulmányát a 25 legtöbbet idézett statisztikai cikk közé sorolták.^[5]

Az FDR koncepció 1995-ös bevezetésének több előfutára is volt a statisztikai szakirodalomban. 1979-ben Holm megalkotta a Holm-eljárást,^[6] amely egy lépésenkénti algoritmus az FWER vezérlésére, és amely legalább olyan hatékony, mint a Bonferroni-korrekció. Ez a lépésenkénti algoritmus rendezi a p-értékeket, és a hipotéziseket a legkisebb p-értéktől kiindulva egymást követően elutasítja.

Benjamini (2010)^[3] elmondása szerint az 1995-ös tanulmányuk két, többszörös teszteléssel foglalkozó tanulmányból ered:

• Az első ilyen Scweder és Spjotvoll (1982)^[7] munkája, akik javasolták a rangsorolt p-értékek ábrázolását, és a valódi nullhipotézisek értékelését azok vonalra illesztésével, a legnagyobb p-értéktől indulva, amelyek így egy egyenest alkotnak. Az ettől az egyenestől eltérő p-értékek a nullhipotézisnek felelnek meg. Ezt az ötletet később algoritmussá fejlesztették, és a nullhipotézist olyan eljárásokba építették be, mint a Bonferroni-, Holm- vagy Hochberg-eljárás.^[8] Ez az elképzelés szorosan kapcsolódik a BH-eljárás grafikus értelmezéséhez.
• A másik ilyen tanulmány Branko Soric (1989)^[9] munkája, amely a „felfedezés” terminológiáját vezeti be többszörös hipotézistesztelés összefüggésében. Soric figyelmeztetőként használta a hamis felfedezések várható számát elosztva az összes felfedezés számával ${\displaystyle \left(E[V]/R\right)}$, mondván: „a statisztikai felfedezéseink nagy része téves lehet”. Ez arra az elképzelésre vezette Benjaminit és Hochberget, hogy egy hibaarányt ahelyett, hogy figyelmeztetésként szolgálna, érdemes lenne kontrollálni.

1995-ben Benjamini és Hochberg bebizonyította, hogy a BH-eljárás egymástól független teszteknél kontrollálja az FDR-t.^[1] 1986-ban R.J. Simes ugyanezt az eljárást javasolta "Simes eljárás" néven annak érdekében, hogy a gyenge értelemben vett FWER-t kontrollálják egymástól független teszteknél.^[10]

Definíciók

Az alábbi definíciók alapján meghatározhatjuk a Q -t, mint a hamis felfedezések arányát az összes felfedezés között (a nullhipotézisek elutasítása):

${\displaystyle Q=V/R=V/(V+S)}$,

ahol ${\displaystyle V}$ a hamis felfedezések száma, ${\displaystyle S}$ az igazi felfedezések száma, ${\displaystyle R}$ pedig az összes felfedezés száma.

A hamis felfedezési arány (FDR) ezután egyszerűen:^[1]

${\displaystyle \mathrm {FDR} =Q_{e}=\mathrm {E} \!\left[Q\right]}$,

ahol ${\displaystyle \mathrm {E} \!\left[Q\right]}$ a várható értéke ${\displaystyle Q}$-nak. A cél, hogy az FDR-t egy adott q érték alatt tartsuk. A 0-val való osztás elkerülése érdekében ${\displaystyle Q}$-t 0-nak definiáljuk, amikor ${\displaystyle R}$ = 0:

${\displaystyle \mathrm {FDR} =\mathrm {E} \!\left[V/R|R>0\right]\cdot \mathrm {P} \!\left(R>0\right)}$.^[1]

Többszörös hipotézistesztelések osztályozása

A következő táblázat a többszörös hipotézistesztelés lehetséges kimeneteleit definiálja. Tegyük fel, hogy m számú nullhipotézisünk van, amelyeket a következőképp jelölünk: H₁ , H₂, …, Hm. Statisztikai tesztet használva szignifikáns eredmény esetén elutasítjuk a nullhipotézist. Ha a teszt eredménye nem szignifikáns, nem utasítjuk el a nullhipotézist. Az összes H_i -re vonatkozó eredménytípust összesítve a következő random változókat kapjuk:

	A nullhipotézis igaz (H0)	Az alternatív hipotézis igaz (HA)	Összegezve
A teszt szignifikáns	V	S	R
A teszt nem szignifikáns	U	T	m-R
Összegezve	m0	m-m0	m

• ${\displaystyle m}$: az összes tesztelt hipotézisek száma
• ${\displaystyle m_{0}}$: az igaz nullhipotézisek száma, nem ismert paraméter
• ${\displaystyle m-m_{0}}$: az igaz alternatív hipotézisek száma
• ${\displaystyle V}$: a fals pozitívok száma (elsőfajú hiba) („false discoveries”)
• ${\displaystyle S}$: az valódi pozitívak száma („true discoveries”)
• ${\displaystyle T}$: a fals negatívak száma (másodfajú hiba)
• ${\displaystyle U}$: A valódi negatívak száma
• ${\displaystyle R=V+S}$: Az elvetett nullhipotézisek száma (igaz vagy hamis felfedezések)
• ${\displaystyle m}$ hipotézistesztelésben, ahol ${\displaystyle m_{0}}$-k az igaz nullhipotéziseket jelölik, ${\displaystyle R}$ egy megfigyelhető véletlen változó, ${\displaystyle S}$, ${\displaystyle T}$, ${\displaystyle U}$ és ${\displaystyle V}$ pedig nem megfigyelhető véletlen változók.

Kontrolláló eljárások

A legtöbb eljárás során H₁….H_m számú nullhipotézis tesztelés, és a hozzájuk tartozó P₁….P_m áll rendelkezésünkre. A p-értékeket növekvő sorrendben soroljuk fel és P₍₁₎….P_(m) -ként jelöljük. Az alacsonytól magas p-érték felé tartó eljárásokat emelkedő („step up”), míg a magastól alacsony p-érték felé tartó eljárásokat ereszkedő („step down”) folyamatoknak nevezzük.

Benjamini–Hochberg-eljárás (BH-eljárás)

A Benjamini–Hochberg-eljárás (BH-emelkedő eljárás) az FDR-t kontrollálja ${\displaystyle \alpha }$ szintjén.^[1] A következőképpen működik:

1. Egy adott α esetén keresse meg a legnagyobb k értéket, amely: ${\displaystyle P_{(k)}\leq {\frac {k}{m}}\alpha }$ (${\displaystyle k={\underset {j\in (i,...,n)}{\operatorname {arg\,max} }}\,\left(I_{P_{(j)}\leq {\frac {j}{m}}\alpha }\right)}$).

2. Vesse el a nullhipotézist az i-re minden H_(i)-nél = 1,…,k.

Geometriai értelemben ez megegyezik P_(k) és k (pl. y és x tengelyen) ábrázolásával, áthúzva az egyenest az origón ${\displaystyle {\frac {\alpha }{m}}}$ meredekséggel, igazolva a bal oldali pontok felfedezését egészen az utolsó, vonal alatti pontig.

A BH-eljárás akkor érvényes, ha az m-tesztek függetlenek, és sok olyan esetben is, amikor fennáll a függőség, de ezek nem általánosan érvényesek.^[11] Egyenlőtlenség esetén is működőképes: ${\displaystyle E(Q)\leq {\frac {m_{0}}{m}}\alpha \leq \alpha }$

Ha az ${\displaystyle m_{0}}$ becslő értékét beillesztjük a BH-eljárásba, már nem garantált az FDR kontroll elérése a kívánt szinten.^[3] Szükség lehet kiigazításokra a becslő értékben, és erre számos módosítást javasoltak.^{[12][13][14][15]}

Az m- tesztek ${\displaystyle \alpha }$ átlaga: ${\displaystyle {\frac {\alpha (m+1)}{2m}}}$, FDR ${\displaystyle \alpha }$ átlaga (vagy MFDR), ${\displaystyle \alpha }$ az m független vagy pozitív korrelációihoz igazítva (lásd AFDR). Az MFDR kifejezés az ${\displaystyle \alpha }$ egyetlen újraszámított értékére vonatkozik, és nem része a Benjamini–Hochberg-módszernek.

Benjamini–Yekutieli-eljárás

A Benjamini-Yekutieli-eljárás tetszőleges függőségi feltételezések alapján ellenőrzi a hamis felfedezési arányt (FDR-t).^[11] Ez a finomítás módosítja a küszöbértéket, és a következőképpen találja meg k értékét:

${\displaystyle P_{(k)}\leq {\frac {k}{m\cdot c(m)}}\alpha }$

• Ha a tesztek függetlenek vagy pozitívan korrelálnak (mint a Benjamini–Hochberg-eljárásban): ${\displaystyle c(m)=1}$

• Tetszőleges függőség esetén (beleértve a negatív korrelációkat), c(m) a harmonikus szám: ${\displaystyle c(m)=\sum _{i=1}^{m}{\frac {1}{i}}}$

A c(m)-et a Taylor-sor és az Euler-Mascheroni-állandó ${\displaystyle \gamma =0.57721...}$ segítségével becsülhetjük meg:

Az MFDR és a fenti képletek használatával, a korrigált MFDR (AFDR) az m-függő tesztek min(${\displaystyle \alpha }$ átlaga) értéke = ${\displaystyle {\frac {\mathrm {MFDR} }{c(m)}}}$ . A függőség kezelésének másik módja a bootstrapping és az újbóli randomizálás.^[4][16][17]

Tulajdonságok

Adaptív és skálázható

Az FDR-t kontrolláló többszörös összehasonlító eljárások adaptívak és skálázhatóak. Ez azt jelenti, hogy az FDR kontrollálása lehet nagyon megengedő (ha az adatok ezt igazolják) vagy konzervatív (az FWER kontrollálása esetén) -mindez a tesztelt hipotézisek számától és a szignifikancia szintjétől függ.^[3]

Az FDR kritérium úgy igazodik, hogy ugyanannyi hamis felfedezésnek (V) különböző következtetései legyenek, a felfedezések teljes számától (R) függően. Ez ellentétes az FWER kritériummal. Például ha 100 hipotézist vizsgálunk (pl. 100 genetikai mutációt, amelyek valamilyen populáció valamilyen fenotípusához kapcsolódnak):

• Ha 4 felfedezést teszünk (R), akkor ezek közül 2 hamis felfedezés (V) nagyon költséges, míg
• Ha 50 felfedezést teszünk (R), akkor ezek közül 2 hamis felfedezés (V) általában nem túl költséges

Az FDR kritérium skálázható, mivel az összes felfedezés (Q) hamis felfedezései ugyanolyan arányban maradnak szenzitívek az össze felfedezés különböző számaira (R). Például:

• Ha 100 felfedezést teszünk (R), akkor 5 hamis felfedezés (q = 5%) nem túl költséges;
• Hasonlóképpen, ha 1000 felfedezést teszünk (R), akkor 50 hamis felfedezés (q = 5%) szintén nem túl költséges.

Függőség a tesztstatisztikák között

Az FDR kontrollálása lineáris emelkedő BH-eljárással q szinten számos tulajdonsággal rendelkezik az m null hipotézis teszt-statisztikái közötti struktúrához kapcsolódva, amelyek javításra kerülnek. Amennyiben a tesztstatisztika:

• Független:^[11] ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q}$

• Független és folytonos:^[1] ${\displaystyle \mathrm {FDR} ={\frac {m_{0}}{m}}q}$

• Pozitív-függő:^[11] ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q}$

• Általános esetben:^[11] ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q/\left(1+{\frac {1}{2}}+{\frac {1}{3}}+\cdots +{\frac {1}{m}}\right)\approx {\frac {m_{0}}{m}}q/(\ln(m)+\gamma +{\frac {1}{2m}})}$, ahol ${\displaystyle \gamma }$ az Euler–Mascheroni-állandó.

Az igaz hipotézisek aránya

Amennyiben az összes nullhipotézis igaz (${\displaystyle m_{0}=m}$), az FDR kontrollálása q szinten garantálja az FWER feletti ellenőrzést (az FWER „gyenge kontrolljának” is nevezik): ${\displaystyle \mathrm {FWER} =P\left(V\geq 1\right)=E\left({\frac {V}{R}}\right)=\mathrm {FDR} \leq q}$, mivel legalább egy igaz nullhipotézis elutasításának esete ${\displaystyle \{V\geq 1\}}$ megegyezik ${\displaystyle \{V/R=1\}}$ esettel, és ${\displaystyle \{V=0\}}$ esete megegyezik ${\displaystyle \{V/R=0\}}$ (ahol ${\displaystyle V=R=0}$, ${\displaystyle V/R=0}$ definíció alapján). Amennyiben viszont van valódi felfedezés (${\displaystyle m_{0}<m}$), akkor ${\displaystyle FWER\geq FDR}$. Ebben az esetben helye lesz a detektálási teljesítmény javításának. Ez azt is jelenti, hogy minden olyan eljárás, amely az FWER-t ellenőrzi, az FDR-t is ellenőrzi.

Kapcsolódó fogalmak

Az FDR felfedezését sok más típusú hibaarány előzte meg és követte. Ezek a következők:

• PCER (per-comparison error rate – összehasonlításonkénti hibaarány), amelynek definíciója: ${\displaystyle \mathrm {PCER} =E\left[{\frac {V}{m}}\right]}$. Az egyes hipotézisek egyenként történő tesztelése az ${\displaystyle \alpha }$ szinten garantálja, hogy: ${\displaystyle \mathrm {PCER} \leq \alpha }$ (ebben az esetben nem alkalmazunk korrekciót a multiplicitásra).

• FWER (familywise rate error), amelynek definíciója: ${\displaystyle \mathrm {FWER} =P(V\geq 1)}$, kontrollálására számos eljárás létezik.

• ${\displaystyle Q'}$: A hamis felfedezések aránya a felfedezések között Soric (1989)^[9] javaslatára, definíciója: ${\displaystyle Q'={\frac {E[V]}{R}}}$ . Ez az elvárások és felismerések keveréke, és problémás a kontrollálás, mivel ${\displaystyle m_{0}=m}$.^[1]
• ${\displaystyle k{\text{-FDR}}}$: Sarkar (2007)^[18][19] által általánosított FDR-ként is emlegetett eljárás, definíciója: ${\displaystyle k{\text{-FDR}}=E\left({\frac {V}{R}}I_{(V>k)}\right)\leq q}$.
• ${\displaystyle \mathrm {FDR} _{-1}}$: Benjamini és Hochberg^[3] használták először, Efron (2008)^[20] később „Fdr”-nek hívta. Definíciója: ${\displaystyle \mathrm {FDR} _{-1}=Fdr={\frac {E[V]}{E[R]}}}$. Ezt a hibaarányt nem lehet szigorúan kontrollálni, mert mikor ${\displaystyle m=m_{0}}$, akkor értéke 1.
• ${\displaystyle \mathrm {FDR} _{+1}}$: Benjamini és Hochberg^[3] használták először, Storey (2002)^[21] később „pFDR” -nek hívta. Definíciója: ${\displaystyle \mathrm {FDR} _{+1}=pFDR=E\left[\left.{\frac {V}{R}}\right|R>0\right]}$. Ezt a hibaarányt nem lehet szigorúan kontrollálni, mert mikor ${\displaystyle m=m_{0}}$, akkor értéke 1.
• Hamis túllépési arány: Az FDR farok-valószínűségének értéke.^[22] Definíciója: ${\displaystyle \mathrm {P} \left({\frac {V}{R}}>q\right)}$
• ${\displaystyle W{\text{-FDR}}}$ (súlyozott FDR): Minden i hipotézishez tartozik egy súly ${\displaystyle w_{i}\geq 0}$ , ahol a súlyok a fontosságot/árat jelölik. Definíciója: ${\displaystyle W{\text{-FDR}}=E\left({\frac {\sum w_{i}V_{i}}{\sum w_{i}R_{i}}}\right)}$.
• FDCR (False Discovery Cost Rate): Statisztikai folyamat-kontrollálásból ered. Minden i hipotézishez tartozik egy ár ${\displaystyle \mathrm {c} _{i}}$ és egy kereszt-hipotézis ${\displaystyle H_{00}}$ ${\displaystyle c_{0}}$ árral. A motivációja, hogy a folyamat leállítása fix költségekkel járhat. Definíciója: ${\displaystyle \mathrm {FDCR} =E\left(c_{0}V_{0}+{\frac {\sum c_{i}V_{i}}{c_{0}R_{0}+\sum c_{i}R_{i}}}\right)}$.
• PFER (per-family error rate), definíciója: ${\displaystyle \mathrm {PFER} =E(V)}$.
• FNR (False non-discovery rates), Genovesse & Wasserman (2002) nevéhez fűződik, definíciója: ${\displaystyle \mathrm {FNR} =E\left({\frac {T}{m-R}}\right)=E\left({\frac {m-m_{0}-(R-V)}{m-R}}\right)}$.
• ${\displaystyle \mathrm {FDR} (z)}$, definíciója: ${\displaystyle \mathrm {FDR} (z)={\frac {p_{0}F_{0}(z)}{F(z)}}}$.

Hamis lefedettségi arány

A hamis lefedettségi arány (false coverage rate; FCR) az FDR-analógja a konfidencia-intervallumnál. Az FCR a hamis lefedettség átlagos arányát jelöli, vagyis nem fedi le a valódi paramétereket a kiválasztott intervallumok között. Az FCR egyidejűleg biztosít lefedettséget 1 – ${\displaystyle \alpha }$ szinten a problémában figyelembe vett összes paraméter számára. Azok az intervallumok, amelyek egyidejű lefedettséget biztosítanak 1 – q szintjén, szabályozhatják az FCR-t úgy, hogy a q-val határolják. Több FCR-eljárás is létezik, mint: Bonferroni-eljárás (Bonferronival kiválasztott, Bonferronival korrigált); BH-val kiválasztott és FCR-rel korrigált konfidenciaintervallumok (Benjamini és Yekutieli (2005),^[23] Bayes FCR (Yekutieli, 2008) és egyéb Bayes-módszerek.^[24]

Bayesiánus módszerek

Az FDR és Bayes-féle megközelítések összekapcsolódtak (beleértve az empirikus Bayes-módszereket),^[20][25][26] megadva a Wavelet-együtthatók és a modellválasztás küszöbértékét,^{[27][28][29][30]} valamint általánosítva a konfidencia-intervallumot az FCR-be.^[23]

Fordítás

Ez a szócikk részben vagy egészben a False Discovery Rate című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.

Források