Informatica Medica Slovenica 2008; 13(2)
19
Pregledni znanstveni članek ■
Metaanaliza v biomedicini: kratek zgodovinski pregled in možne smeri njenega razvoja
Andrej Kastrin
Izvleček. Metaanaliza je oblika statistične analize, v kateri na sistematičen način združujemo rezultate posameznih med seboj neodvisnih študij. Metaanaliza omogoča sistematično spremljanje najnovejših znanstvenih spoznanj, učinkovitejšo izrabo obstoječih podatkov, pomembno prispeva h kakovosti obstoječega znanja o določenem proučevanem fenomenu in lahko služi kot podpora pri gradnji novih raziskovalnih domnev. V biomedicini je metaanaliza ena od najpogosteje uporabljenih tehnik zbiranja, analize in interpretacije rezultatov. V prispevku osvetlimo nekatere epistemološke temelje metaanalize, podamo zgoščen kronološki potek njenega razvoja, glavne statistične koncepte ter predstavimo možne smeri uporabe metaanalize pri združevanju podatkov genskih mikromrež.
Meta-analysis in biomedicine: short chronological review and possibilities of application
Abstract. Meta-analysis refers to the statistical analysis of a large collection of independent observations for the purpose of integrating results. The benefits of meta-analysis include more effective exploitation of existing data from independent sources and contribution to more powerful domain knowledge. Meta-analysis is one of the most popular techniques in modern biomedical sciences in order to combine, analyze, and interpret the results of clinical studies. Some epistemiological issues are first reviewed. We highlight major historical landmarks of meta-analysis and its statistical background. We conclude with comprehensive directions of meta-analysis of microarray experiments.
■ Infor Med Slov: 2008; 13(2): 11-18
Institucija avtorja: Inštitut za medicinsko genetiko, Univerzitetni klinični center Ljubljana.
Kontaktna oseba: Andrej Kastrin, Inštitut za medicinsko genetiko, Univerzitetni klinični center Ljubljana, Šlajmerjeva
4, 1000 Ljubljana. email: andrej.kastrin@guest.arnes.si.
12
Kastrin A: Metaanaliza v biomedicini
Uvod
Kot odgovor na izzive zajemanja, shranjevanja in upravljanja z velikimi količinami podatkov, informacij in znanja se je v zadnjem desetletju uveljavilo raziskovalno področje, ki se imenuje odkrivanje zakonitosti iz podatkov.1 Gre za odkrivanje eksplicitnih ali implicitnih, doslej neznanih in potencialno uporabnih zakonitosti iz podatkov, z namenom učinkovitejšega opisovanja, odločanja in napovedovanja v določeni problemski domeni. Proces odkrivanja zakonitosti iz podatkov je krožen proces, kjer osvojeno novo znanje služi preverjanju novih raziskovalnih idej.2 Računsko jedro tega procesa predstavljajo metode in tehnike podatkovnega rudarjenja oz. statistične analize. Interpretacija novo pridobljenega znanja, primerjava novega znanja z že obstoječim ter sklepanje o možnih posledicah, ki jih novo znanje prinese k razumevanju določenega predmeta raziskovanja, pa je mnogokrat prepuščeno subjektivnim postopkom raziskovalcev in zato predstavlja najbolj šibko točko celotnega procesa odkrivanja zakonitosti iz podatkov. Možno rešitev predstavlja uporaba metodologije metaanalize.
Epistemološke predpostavke in opredelitev metaanalize
Po Černigoju3 je temeljna predpostavka sodobne znanosti predpostavka o neodvisno obstoječi stvarnosti. Na osnovi te predpostavke avtor izpelje model treh bistvenih določil znanosti: (i) individualno spoznavno anatomijo, (ii) medsebojno regulacijo spoznavanja in (iii) kumulativnost znanstvenih spoznanj.
Individualna spoznavna anatomija se nanaša na falsifikabilnost znanstvenih modelov in teorij. Raziskovalec je spoznavno avtonomen, ker način na katerega predmet njegovega znanstvenega proučevanje obstaja ni odvisen od mnenj, ki jih ljudje o njem imajo. Mnenja so lahko bolj ali manj različna in načelno ima vsakdo možnost, da se od obstoječih mnenj odvrne in stvari preveri sam. Drugo določilo, medsebojna regulacija
spoznavanja, nudi skupnosti raziskovalcev referenčni okvir, glede na katerega lahko drug drugega korigirajo in preverjajo veljavnost svojih spoznanj. Na tej točki znanost postane kolektivna in kumulativna: spoznanja zaporednih generacij raziskovalcev se kopičijo in nadgrajujejo, vedenje o nekem predmetu raziskovanja pa se (eksponencialno) širi.
Povezovanje podatkov in informacij, nenehni razvoj novega znanja in njegovo plemenitenje v praksi morda še nikoli niso bili tako pomembni kot danes. Zlasti v svetu zunaj laboratorijev, inštitutov in univerz pomeni golo kopičenje znanja brez njegovega pretapljanja v rast in razvoj, izgubo konkurenčnosti. Kopičenju znanja na nekem znanstvenem področju lahko sledimo z dvema komponentama: zadostnostjo in stabilnostjo.4 Komponenta zadostnosti se nanaša na vprašanje količine študij, ki jih potrebujemo, da zadovoljivo opišemo nek fenomen oz. problemsko domeno, komponenta stabilnosti pa na vprašanje skladnosti obstoječega znanja z znanjem, ki ga dobimo na osnovi novih raziskovalnih izsledkov pri ponovljenih merjenjih istega fenomena. Medtem ko na zadostnost vpliva predvsem integracija raziskovalčeve ustvarjalnosti na eni ter zadovoljevanje kriterijev znanstvene uspešnosti na drugi strani, je skladnost bolj objektivna in lažje preverljiva kategorija. V ožjem pomenu besede jo lahko skrčimo na zanesljivost merjenja določenega predmeta znanstvenega proučevanja.
Z vprašanjem zanesljivosti se srečujemo v vseh znanstvenih disciplinah, ki poskušajo svoje raziskovalne domneve preveriti z empiričnimi izsledki. Zanesljivi rezultati so ključnega pomena za doseganje osnovnega cilja znanstvenega raziskovanja, t.j. ugotavljanja zakonitosti, ki nam omogočajo pojasnjevanje in napovedovanje opazovanih pojavov.5 Zanesljivost v širšem smislu pomeni, da bomo s ponavljanjem meritev istega pojava v enakih ali vsaj primerljivih okoliščinah dobili primerljive rezultate. Zanesljivost merjenja je tem večja, čim bolj so razlike v izmerjenih vrednostih posledica dejanskih sprememb merjenega pojava in čim manjši je vpliv slučajnih dejavnikov. V biomedicini je najbolj pereč
Informatica Medica Slovenica 2008; 13(2)
19
problem, povezan z zanesljivostjo merjenja, vprašanje relativno majhnih vzorcev.6 S podobnim problemom se soočajo praktično vse znanstvene discipline, katerih raziskave so zasnovane na teoriji vzorčnega zaključevanja.
Smiseln odgovor na problem zanesljivosti posameznih študij, kliničnih poskusov oz. eksperimentov ponuja njihova integracija v obliki metaanalize. Metaanaliza omogoča večjo moč statističnega zaključevanja pri opazovanju določenega fenomena ter natančno oceno njegove variabilnosti (raztrosa) med študijami. Ideja o združevanju podatkov večih med seboj neodvisnih študij je stara že dobrih 400 let, temelje moderne metaanalize pa je pred tremi desetletji postavil Glass,7 ko je na metodološko rigorozen način ovrgel smelo Eysenckovo tezo o ničnosti učinka psihoterapije. Ustrezno izvedena metaanaliza (i) ponuja sistematične, hitre in zanesljive odgovore na raziskovalne domneve, (ii) zaradi večje količine podatkov povečuje moč statističnega zaključevanja, (iii) daje pregled nad metodologijo izvedbe posameznih poskusov ter nenazadnje (iv) omogoča velik prihranek sredstev na račun ponovitvenih poskusov.
Popularna Wikipedia takole povzema razumevanje pojma metaanaliza:
"Metaanaliza je statistična metoda namenjena združevanju rezultatov večjega števila študij, ki se ukvarjajo s proučevanjem podobnega raziskovalnega problema."
Metaanalizi nadreden koncept je sistematični pregled literature.8 Gre za metodo pregleda literature, povzemanja in zbiranja kvalitativnih dokazov o nekem raziskovalnem problemu. Metaanalizo opredelimo bolj specifično, kot tehniko pregleda literature, z natančno določeno metodologijo in kvantifikacijo rezultatov podobnih študij s standardno metriko, ki omogoča uporabo statističnih metod kot sredstva analize.9-11 Pri metaanalizi se bibliografski viri ne uporabljajo za definicijo raziskovalnega problema, ampak njihov pregled predstavlja samostojen problem, ki privede do teoretičnih in empiričnih zaključkov, ki lahko
spremenijo ali dopolnijo znanje na nekem področju znanstvenega proučevanja. Njene korenine segajo na področje psihologije in pedagogike, kasneje pa se je močno razširila v praktično vse temeljne in aplikativne znanstvene vede.
Metaanaliza skozi čas
Vsebina tega poglavja povzema avtorjev prispevek o uporabi metaanalize v psiholoških raziskavah.12
Metaanaliza ima dolgo preteklost, a razmeroma kratko zgodovino. Metodo ponovljenih merjenj pri merjenju istega pojava je v znanost vpeljal danski astronom Brahe konec 16. stoletja.13 Kepler je svoje tri slavne zakone, ki opisujejo gibanje planetov okoli Zemlje osnoval ravno na osnovi njegovih dolgoletnih meritev. Brahe je bil prvi, ki je za zmanjševanje sistematične napake pri merjenju uporabil matematični koncept aritmetične sredine, ki se je v znanosti utrdil šele dobro stoletje kasneje. Drug pomemben miselni preskok v teoriji merjenja, neposredno povezan z razvojem metaanalize, je kombinacija meritev različnih opazovalcev, ki jo je vpeljal francoski matematik in astronom Mauperuis.13 Pri merjenju dolžin poldnevniške (meridianske) stopinje si je pomagal z večimi neodvisnimi opazovalci, meritve povprečil in tako empirično potrdil pravilnost Newtonove teorije o sploščenosti Zemlje. V veliki meri so bili prav astronomi tisti, ki so postavili temeljne kamne sodobni teoriji merjenja. Airy je leta 1861 ugotovitve svojih stanovskih kolegov povzel v znanstveni monografiji z naslovom "On the algebraical and numerical theory of errors of observations and the combination of observations". Prvi resen poskus združevanja kliničnih rezultatov je na začetku 20. stoletja izvedel Pearson z združitvijo podatkov različnih študij, ki so proučevale vpliv cepiva proti tifoidni mrzlici na različnih vzorcih angleških vojakov.14 Medicina je potrebovala skoraj 50 let, da je ponovno odkrila Pearsonov prispevek.15 Drug pomemben oče metaanalize je bil slavni britanski statistik in Darwinov naslednik Fisher. V eni od
12
Kastrin A: Metaanaliza v biomedicini
sklepnih monografij je takole povzel bistvo svojega pogleda na problem integracije rezultatov različnih neodvisnih študij pri merjenju istega pojava:16
"...pri testiranju statistične značilnosti večih neodvisnih testov se včasih zgodi, da malo oz. noben test ni posamezno statistično značilen, združeni pa dajo vtis, da so verjetnosti (zavrnitve ničelne hipoteze, op. a.) nižje, kot bi bile dobljene po naključju."
Za razliko od Pearsona, ki je združil surove korelacijske koeficiente posameznih študij, sta Fisher in Tippet naredila korak dlje ter neodvisno drug od drugega izpeljala inovativen postopek združevanja p-vrednosti pri testiranju večih neodvisnih ničelnih hipotez.9,17 Medtem ko je Tippetov prispevek utonil v zakladnico statistične zgodovine, se Fisherjev obrazec uporablja še danes. Fisher je pokazal kako lahko m neodvisnih p-vrednosti združimo v enotno mero statistične
značilnosti, ki se porazdeljuje po porazdelitvi z
16
2m stopnjami prostosti:
m
ZL = "2Z loge fei ).
i=1
Okno v svet je metaanalizi uradno odprl Glass. Bolj kot ne zaradi pozitivne osebne izkušnje z lastno psihoterapijo se je spustil v ostro polemiko z eminentnim Eysenckom, zlasti z njegovo trditvijo o ničnosti učinka psihoterapije.18,19 Glassa štejemo za utemeljitelja sodobne metaanalize, je avtor skovanke metaanaliza ter nosilec nove paradigme v razvoju znanosti.7,20 Pred dobrimi 30 leti je takole zapisal:20
"Metaanaliza se nanaša na analizo analize. S terminom označujem statistično analizo velike zbirke rezultatov posameznih študij z namenom integracije novih spoznanj. Predstavlja močno alternativno dosedanji vzročni in pripovedni razlagi rezultatov in lahko služi kot podpora pri osmišljanju velike količine raziskovalnih podatkov."
Metaanaliza torej ni le suhoparen skupek statističnih obrazcev, ampak dodelan metodološki okvir za izkop novega znanja iz podatkov in
njihovo osmišljanje.21 Istega leta je Rosenthal22 objavil knjigo z naslovom "Experimenter effects in behavioral research", v kateri je predstavil koncept mer velikosti učinka in s tem sprožil močno kritiko klasične uporabe statističnih testov. Z uvedbo od velikosti vzorca neodvisnih mer razlik med rezultati merjenih spremenljivk je bilo tako dostopno tudi razmeroma enostavno statistično orodje za primerjanje različnih študij med seboj. Eden najpomembnejših avtorjev s področja mer velikosti učinka je Cohen, ki je temelje kritike klasičnega testiranja statističnih domnev predstavil v članku s pomenljivim naslovom "The Earth is round (p < .05)".23 Leta 1977 je Glass skupaj s sodelavko objavil članek v katerem sta analizirala 375 neodvisnih študij s skupaj več kot 40.000 udeleženci, ki so z različnimi tehnikami in raziskovalnimi metodami proučevale učinke zdravljenja v različnih smereh psihoterapije in Eysenckovo domnevo ovrgla.7 Eysenck je do konca svojega ustvarjalnega življenja ostal vnet nasprotnik takega pristopa k raziskovanju. Najbolj znan in največkrat citiran je njegov članek s provokativnim naslovom "Meta-analysis is an exercise in mega-silliness" v katerem je metaanalizo označil za nevredno metodo resnega znanstvenega dela.24 V zadnjem času so pomembne metodološke prispevke k metaanalizi dodali raziskovalci kot so npr. Raju, Hedges, Olkin, Hunter, Cohen in Schmidt.
Danes se v metaanalizi najpogosteje uporabljata dva statistična modela združevanja podatkov:25,26 model stalnih učinkov (angl. fixed effect model) in model slučajnih učinkov (angl. random effect model). Model stalnih učinkov predpostavlja, da vključene študije ocenjujejo isti učinek oz. da so učinki posameznih študij vzorčne vrednosti iste populacije.27 Na ta način upoštevamo le raztros znotraj posameznih študij. Predpostavka tega modela je torej, da vse vključene študije uporabljajo enako metodo merjenja, vzorci udeležencev pa so med seboj homogeni. Model slučajnih učinkov po drugi strani predpostavlja, da so vključene študije naključno vzorčene iz različnih populacij študij, ki imajo različne učinke.28,29 Pri tem poleg raztrosa posameznih študij upoštevamo tudi raztros med študijami. Pri
Informatica Medica Slovenica 2008; 13(2)
19
uporabi modelov moramo biti pazljivi, saj lahko modela na istih podatkih pripeljeta do popolnoma različnih rezultatov. V primeru, da so študije med seboj homogene, modela stalnih in slučajnih učinkov vrneta praktično primerljive rezultate. Teoretično gledano je prav heterogenost med študijami tista, ki definira izbiro statističnega modela. V primeru heterogenosti med študijami, ki ni posledica razlik nad populacijo vključenega univerzuma udeležencev v merjeni lastnosti, ampak je posledica raztrosa med posameznimi študijami, pa uporabimo model slučajnih učinkov. Za preverjanje predpostavke homogenosti posameznih študij lahko uporabimo različne testne statistike in grafične metode. Najbolj enostaven indikator statistične heterogenosti je slabo prekrivanje intervalov zaupanja, za numerično oceno pa uporabimo različne mere, izpeljane iz in F preizkusa. Heterogenost študij sama po sebi ni nujno ovira. Resda je z vidika združevanja rezultatov moteča, vendar nam lahko služi tudi kot indikator vsebinskih razlik med študijami. Nekateri avtorji v tem okviru govorijo celo o dvojni naravi metaanalitičnih študij: njeni klasični, analitični obliki dodajajo še eksporatorni vidik, katerega namen je odkrivanje razlik in pojasnjevanje virov heterogenosti študij.21
Biomedicina je od vseh znanstvenih disciplin metaanalizo najbolje unovčila. Rečemo lahko, da je danes v biomedicini metaanaliza ena od pogosteje uporabljenih metod zbiranja, analize in interpretacije raziskovalnih rezultatov.30 Pogostnost njene uporabe je sicer občutno manjša kot npr. pogostnost uporabe logističnih modelov, vendar je kljub temu opazen trend rasti (Slika 1). Za razliko od drugih znanstvenih disciplin, je v biomedicini metaanaliza postala prava akademska industrija. Od prvih resnih poskusov pred 30 leti do danes je postala močna veja tako teoretičnega, še bolj pa aplikativnega znanstvenega raziskovanja. V bibliografski zbirki MEDLINE je npr. kar 32.806 zapisov, ki na kakršenkoli način omenjajo metaanalizo (11. 11. 2008).
Metaanaliza je postavila temelje t.i. znanstveno utemeljene medicine (angl. evidence based medicine). Znanstveno utemeljena medicina
zajema postopek sistematičnega iskanja, ocenjevanja in uporabe sodobnih raziskovalnih izsledkov kot temelj kliničnega odločanja ter pridobiva na popularnosti v številnih medicinskih disciplinah.31 Gre za razmeroma novo paradigmo, ki bo tudi medicini omogočila uporabo pravega znanstvenega načina raziskovanja in njenega metodološkega aparata. Z namenom zagotavljanja kvalitetnih sistematičnih pregledov so po svetu ustanovili posebne raziskovalne centre, ki za potrebe medicine in njej sorodnih strok že več kot deset let opravljajo sistematične preglede in metaanalize. Najpomembnejši in najbolje organizirani so Cochranovi centri, poimenovani po angleškem epidemiologu Cochranu.32 Slovenija spada pod okrilje italijanske podružnice s sedežem v Milanu. Eden od najpomembejših dosežkov združenja je Cochranova knjižnica (http://www.cochrane.org/), spletna zbirka sistematičnih pregledov in metaanaliz s področja biomedicine.
8000 -
--"Meta-Analysis"
---"Microarray Analysis"
6000 - ............"Logistic Models"
c
I 4000
CD
2000
0 - ------------------'
S—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—r
1990 1993 1996 1999 2002 2005 Leto
Slika 1 Pogostnost citatov v MEDLINE bibliografski zbirki, ki vsebujejo deskriptorje MeSH: "Meta-Analysis", "Microarray Analysis" oz. "Logistic Models".
12
Kastrin A: Metaanaliza v biomedicini
Pogled v prihodnost
Metaanaliza se danes uporablja praktično na vseh področjih biomedicine. Največje obete pa ponuja na področju analize in interpretacije mikromrežnih eksperimentov. Od njihovega revolucionarnega odkritja pred dobrimi desetimi leti do danes so mikromreže postale klasično orodje za merjenje globalne ekspresije genov (prim. Slika 1). Področje uporabe mikromrež je zelo široko: od bazičnih raziskav, ki se ukvarjajo z globalnim pogledom na določene biološke procese, modeliranjem regulacijskih genskih mrež, do uporabe v farmacevtski industriji za odkrivanje novih potencialnih učinkovin.
Rezultat klasičnega mikromrežnega eksperimenta je množica genov, s katero lahko pojasnimo raztros med merjenimi eksperimentalnimi pogoji (npr. med pacienti z rakom in zdravimi kontrolnimi preiskovanci). V statističnem jeziku je mikromrežni eksperiment poskus, ki (praviloma) vrne ogromno količino podatkov.33 Glavni problem analize mikromrežnega eksperimenta je zato statistične narave: veliko množico genov (spremenljivk) merimo na osnovi veliko manjšega vzorca preiskovancev (opazovanih enot). Poleg tega se v meritve vpleta velika množica možnih virov napak, ki jih običajno razvrstimo v tri skupine: (i) biološki in eksperimentalni raztros, (ii) raztros pogojen z uporabo metode merjenja in (iii) slučajni raztros.
Zanesljivost in veljavnost rezultatov mikromrežnih eksperimentov sta zato pogostokrat vprašljivi. Za primer lahko vzamemo dva neodvisna klinična poskusa, ki sta z uporabo tehnologije mikromrež ugotavljala možne biooznačevalce poteka razvoja Huntingtonove bolezni in v primerljivih eksperimentalnih pogojih generirala neprimerljive izsledke.34,35 Ker je ponovljivost rezultatov eno od temeljnih vodil znanosti se postavlja vprašanje možnosti združevanja meritev neodvisnih, a eksperimentalno sorodnih mikromrežnih eksperimentov. Na ta način povečamo velikost vzorca in s tem statistično moč zaključevanja, ocena velikosti učinka za proučevan genski
produkt pa je bolj zanesljiva, kar posredno vpliva tudi na večjo diskriminativnost merskega instrumenta.36
Nujnost uporabe integrativnega pristopa v analizi mikromrežnih podatkovij implicirajo tako rezultati simulacijskih eksperimentov kot tudi klinične raziskave, ki pri preverjanju enakih raziskovalnih domnev in ob primerljivih sospremenljivkah prihajajo do nasprotujočih si ugotovitev. Ein-Dor37 je npr. dokazal, da je stabilnost razvrstitve genov kandidatov znotraj posameznega eksperimenta močno odvisna od izbrane kombinacije proučevanih in kontrolnih vzorcev. Michiels38 pa pred interpretacijo in pripisovanjem biološkega pomena takim rezultatom celo priporoča uporabo vzorčenja z vračanjem.
Neposredno združevanje rezultatov mikromrežnih eksperimentov je zaradi množice prej omenjenih virov raztrosa seveda nesmiselno. Zato sta se uveljavila dva pristopa k njihovi integraciji. Prvi pristop temelji na opisnem primerjanju statistično značilno izraženih genov po posameznih študijah. Na osnovi pregleda literature identificiramo gene, ki pojasnjujejo razlike med eksperimentalnimi pogoji, nato pa s preprostim iskanjem presekov med posameznimi množicami poskušamo identificirati gene, ki so skupni dvema ali večim eksperimentom. Kljub zamudnosti (zlasti kar se tiče preiskovanja bibliografskih zbirk ter predpriprave podatkov) se na ta način razmeroma enostavno znebimo potencialnega šuma v podatkih ter povečamo specifičnost merjenja. Raziskovalcem sta trenutno na voljo dve spletni orodji, LOLA39 in L2L,40 ki omogočata analizo presekov nad rezultati nekaterih objavljenih mikromrežnih eksperimentov.
Drugi pristop je nekoliko manj zamuden, a metodološko bolj zahteven. Bistvo pristopa je v združevanju surovih mikromrežnih podatkov, s čimer povečamo število opazovanj ter posledično povečamo zanesljivost merjenja. Glavna problema, na katera naletimo pri taki vrsti analize, sta (i) definiranje univerzuma genov, ki so skupni vsem v metaanalizo vključenim eksperimentom ter (ii) opredelitev cenilke, ki ustrezno povzame
Informatica Medica Slovenica 2008; 13(2)
19
informacijo posameznih eksperimentov v skupno oceno. Prvi korak k takemu načinu združevanja mikromrežnih podatkovij je pred leti naredil Rhodes,41 ki je združil profile genske izraženosti pri bolnikih z rakom na osnovi Fisherjeve metode16 združevanja p-vrednosti. Drugi avtorji so kasneje predlagali uporabo različnih mer velikosti učinka,42 vpeljavo statističnih modelov z uporabo latentnih spremenljivk,43,44 itd.
Okolje R za statistično analizo in grafiko ponuja tri zanimive pakete, ki so namenjeni metaanalizi mikromrežnih podatkov. Paket GeneMeta ponuja zbir funkcij za združevanje rezultatov mikromrežnih eksperimentov na osnovi statističnih modelov s fiksnimi in slučajnimi učinki po metodi, ki jo je predlagal Choi.42 Paket metaArray44 je razširitev paketa GeneMeta, ki poleg prej omenjene Choieve metode vsebuje še implementacije algoritmov združevanje nekaterih drugih avtorjev. Zadnji v družini je paket RankProd,45 pri katerem je združevanje rezultatov neodvisnih eksperimentov zasnovano na osnovi produkta rangov.
Zaključek
Metaanaliza zahteva razmeroma velik vložek dela in premišljeno kombiniranje kvalitativne in kvantitativne analize, vendar po drugi strani omogoča sprotno in sistematično spremljanje najnovejših znanstvenih spoznanj, učinkovitejšo izrabo obstoječih podatkov, pomembno prispeva h kakovosti obstoječega znanja o določenem proučevanem fenomenu in nenazadnje nudi podporo pri gradnji novih raziskovalnih idej.
Uporaba katerekoli statistične metode zahteva nekaj znanja in obilo izkušenj. Zavedati se moramo, da metaanaliza ni nadomestek raziskovalčeve ustvarjalnosti, pač pa le orodje, ki lahko močno pospeši in izboljša kvaliteto raziskovalnega dela.
Literatura
1.	Cios KJ, Pedrycz W, Swiniarski RW, Kurgan LA: Data Mining: A Knowledge Discovery Approach. New York, NY 2007: Springer.
2.	Fayyad U, Piatetsky-Shapiro G, Smyth P: From Data Mining to Knowledge Discovery in Databases. AI Magazine 1996; 17(3): 37-54.
3.	Cernigoj M: Jaz in mi: raziskovanje temeljev socialne psihologije. Ljubljana 2007: IPSA.
4.	Mullen B, Muellerleile P, Bryant B: Cumulative Meta-Analysis: A Consideration of Indicators of Sufficiency and Stability. Pers Soc Psychol Bull
2001; 27(11): 1450-1462.
5.	Ferligoj A, Leskošek K, Kogovšek T: Zanesljivost in veljavnost merjenja. Ljubljana 1995: Fakulteta za družbene vede.
6.	Balding DJ: A tutorial on statistical methods for population association studies. Nat Rev Genet
2006; 7(10): 781-791.
7.	Smith ML, Glass GV: Meta-analysis of psychotherapy outcome studies. Am Psychol 1977; 32(9): 752-760.
8.	Torgerson C: Systematic reviews. London 2003: Continuum.
9.	Rosenthal R: Meta-analytic procedures for social research. Newbury Park, CA 1991: SAGE.
10.	Wachter KW: Disturbed by meta-analysis. Science 1988; 241(4872): 1407-1408.
11.	Wolf FM: Meta-analysis: Quantitative methods for research synthesis. Newbury Park, CA 1986: SAGE.
12.	Kastrin A: Metaanaliza in njen pomen za psihološko metodologijo. Psihološka obzorja 2008; 17(3): 25-42.
13.	Plackett RL: Studies in the history of probability and statistics: VII. The principle of the arithmetic mean. Biometrika 1958; 45(1-2): 130-135.
14.	Pearson K: Report on certain enteric fever inoculation statistics. BMJ 1904; 2(2288): 12431246.
15.	Olkin I: Statistical and theoretical considerations in meta-analysis. J Clin Epidemiol 1995; 48(1): 133146.
16.	Fisher RA: Statistical methods for research workers. New York 1970: MacMillan.
17.	Tippett LHC: The methods of statistics. London 1931: Williams & Norgate.
18.	Eysenck HJ: The effect of psychotherapy: An evaluation. J Consult Psychol 1952; 16(5): 319-324.
19.	Eysenck HJ: The effects of psychotherapy. Int J Psychiatry 1965; 1: 97-142.
12
Kastrin A: Metaanaliza v biomedicini
20.	Glass GV: Primary, secondary, and meta-analysis of research. Educational Researcher 1976; 5(10): 3-8.
21.	Schmidt FL: What do data really mean? Research findings, meta-analysis, and cumulative knowledge in psychology. Am Psychol 1992; 47(10): 11731181.
22.	Rosenthal R: Experimenter effect in behavioral research. NewYork, NY 1976: Halsted Press.
23.	Cohen J: The earth is round (p < .05). Am Psychol 1994; 49(12): 997-1003.
24.	Eysenck HJ: An exercise in mega-silliness. Am Psychol 1978; 33(5): 517.
25.	Hunter JE, Schmidt FL: Fixed effects vs. random effects meta-analysis: Implications for cumulative research knowledge. International Journal of Selection and Assessment 2000; 8(4): 275-292.
26.	Kisamore JL, Brannick MT: An illustration of the consequences of meta-analysis model choice. Organizational Research Methods 2008; 11(1): 3553.
27.	Mantel N, Haenszel W: Statistical aspects of the analysis of data from retrospective studies of
disease. J Natl Cancer Inst 1959; 22(4): 719-748.
28.	DerSimonian R, Kacker R: Random-effect model for meta-analysis of clinical trials: An update.
Contemp Clin Trials 2007; 28(2): 105-114.
29.	DerSimonian R, Laird N: Meta-analysis in clinical trials. Control Clin Trials 1986; 7(3): 177-188.
30.	Egger M, Ebrahim S, Smith GD: Where now for meta-analysis? Int J Epidemiol 2002; 31(1): 1-5.
31.	Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS: Evidence based medicine: What it is and what it isn't. BMJ 1996; 312(7023): 71-72.
32.	Hill GB: Archie Cochrane and his legacy. An internal challenge to physicians' autonomy? J Clin
Epidemiol 2000; 53(12): 1189-1192.
33.	Blejec A. Statistično ozadje analize podatkov z mikromrež. V: Anderluh G, Zupan B, Stare J (ur.). Prvo srečanje slovenskih bioinformatikov; 2. december 2005; Ljubljana: Fakulteta za računalništvo in informatiko; 2005. str. 19-22.
34.	Borovecki F, Lovrecic L, Zhou J, et al.: Genome-wide expression profiling of human blood reveals biomarkers for Huntington's disease. Proc Natl
Acad Sci U S A 2005; 102(31): 11023-11028.
35.	Runne H, Kuhn A, Wild EJ, et al.: Analysis of potential transcriptomic biomarkers for Huntington's disease in peripheral blood. Proc Natl
Acad Sci U S A 2007; 104(36): 14424-14429.
36.	He W, Bull SB, Gokgoz N, Andrulis I, Wunder J: Application of reliability coefficients in cDNA microarray data analysis. Stat Med 2006; 25(6): 1051-1066.
37.	Ein-Dor L, Kela I, Getz G, Givol D, Domany E: Outcome signature genes in breast cancer: is there a unique set? Bioinformatics 2005; 21(2): 171-178.
38.	Michiels S, Koscielny S, Hill C: Prediction of cancer outcome with microarrays: a multiple random validation strategy. Lancet 2005; 365(9458): 488-492.
39.	Cahan P, Ahmad AM, Burke H, et al.: List of listsannotated (LOLA): A database for annotation and comparison of published microarray gene lists.
Gene 2005; 360(1): 78-82.
40.	Newman JC, Weiner AM: L2L: a simple tool for discovering the hidden significance in microarray expression data. Genome Biol 2005; 6(9): R81.
41.	Rhodes DR, Barrette TR, Rubin MA, Ghosh D, Chinnaiyan AM: Meta-analysis of microarrays: interstudy validation of gene expression profiles reveals pathway dysregulation in prostate cancer.
Cancer Res 2002; 62(15): 4427-4433.
42.	Choi JK, Yu U, Kim S, Yoo OJ: Combining multiple microarray studies and modeling interstudy variation. Bioinformatics 2003; 19(1): i84-i90.
43.	Parmigiani G, Garrett-Mayer ES, Anbazhagan R, Gabrielson E: A cross-study comparison of gene expression studies for the molecular classification of lung cancer. Clin Cancer Res 2004; 10(9): 29222927.
44.	Choi H, Shen R, Chinnaiyan AM, Ghosh D: A latent variable approach for meta-analysis of gene expression data from multiple microarray experiments. BMC Bioinformatics 2007; 8: 364.
45.	Hong F, Breitling R, McEntee CW, Wittner BS, Nemhauser JL, Chory J: RankProd: a bioconductor package for detecting differentially expressed genes in meta-analysis. Bioinformatics 2006; 22(22): 28252827.