Melaginga Australijos ataskaita, teigianti, kad homeopatija neveikia

Pasaulinės žiniasklaidos ir Wikipedia melas: iš 1800 nepriklausomų mokslinių tyrimų, nė vienas nepatvirtino homeopatijos gydomųjų savybių

Australijos ataskaita – vienas labiausiai šokiruojančių melagingų mokslinių tyrimų pavyzdžių.

Lietuviškame Wikipedia variante, aprašant homeopatijos mokslą ir jo principus, cituojamas Smithsonian šaltinis, teigiantis, kad, ištyrus 1800 mokslinių studijų, nė viena nepatvirtino homeopatijos gydomųjų savybių.^[1] Tai yra tik vienas iš daugelio melagingų žinių pavyzdžių.

2015 m. kovo mėnesį, Australijos nacionalinė sveikatos ir medicinos tyrimų taryba (angl. Australian National Health and Medical Research Council, toliau NHMRC) paskelbė apie homeopatiją informacinį pranešimą, kuris įprastai yra žinomas kaip „Australijos ataskaita“.^[2]

Viena šio dokumento ištraukų teigia, kad „…nėra jokių patikimų įrodymų, rodančių, kad bet vienam sveikatos sutrikimui gydyti naudota homeopatija buvo veiksminga.“

To pasekoje, ši ataskaita paskatino daugelio skambių antraščių, peršančių mintį, kad NHMRC nustatė, jog homeopatija yra neveiksminga gydant bet kokį sveikatos sutrikimą, atsiradimą viso pasaulio žiniasklaidoje.^[3]

Realybė kiek kitokia.

Tiesa: nagrinėti tik 5 tyrimai, kuriais „remiantis“ nustatyta, jog homeopatija neveikia

Kaip buvo atkrinkti „Australijos ataskaitoje“ naudoti tyrimai:

• Iš paieškos, pagal raktažodžius, atrinkti 1863 tyrimai. Tai nebvuo realūs tyrimai;
• Iš 1863 tyrimų, toliau atrinkti 176 tyrimai, kurie tiko įtraukimui į apžvalgą;
• Pritaikius filtrą „daugiau nei 150 dalyvių“, liko 30 tinkamų tyrimų;
• Pritaikius idealios kokybės filtrą, liko 5 tyrimai.

Apie viską išsamiai.

Ekspertai: rengiant „Australijos ataskaitą“, buvo padaryti rimti procedūriniai ir moksliniai nusižengimai

Paskatintas rimtų abejonių, kad tyrimas buvo atliktas nešališkai ir objektyviai, Australijos homeopatijos asociacijos (AHA) prezidentas Gerry Dendrinos iniciavo išsamų tyrimą, kuris, kartu su moksline Homeopatijos tyrimų instituto (angl. Homeopathy Research Institute, toliau HRI) analize, atskleidė rimtus procedūrinius ir mokslinius nusižengimus, atliktus rengiant „Australijos ataskaitą“:

1. NHMRC homeopatijos apžvalgą atliko du kartus, buvo sukurti du pranešimai: 2012 m. liepos mėn., kitas – 2015 m. kovo mėn.
2. Pirmoji ataskaita niekada nebuvo atskleista ir paskelbta viešai. Ji buvo aptikta tik „Teisės į laisvą informaciją“ (angl. Freedom of Information) prašymų dėka.
3. NHMRC teigia, kad pirmąją ataskaitą atmetė, nes ji buvo prastos kokybės, nepaisant to, kad ją atliko autoritetingas mokslininkas ir pačios NHMRC gairių autorius, sukūręs metodikas, kaip tinkamai turi būti atliktos įrodymų apžvalgos.
4. „Teisės į laisvą informaciją“ prašymai taip pat atskleidė, kad NHMRC ekspertų komiteto narys, prižiūrintis analizės procesą, profesorius Fred Mendelsohn, patvirtino, kad pirmoji peržiūra buvo aukštos kokybės. Ištrauka iš jo laiško:
   

   Mane sužavėjo šiam vertinimui skiriamas griežtas, kruopštus ir sistemingas požiūris […]. Apskritai, į šią peržiūrą pateko daug puikių darbų ir rezultatai yra pateikiami sistemingai, nešališkai ir įtikinamai.

5. NHMRC teigė, kad antrosios, 2015 m. paskelbtos, „Australijos ataskaitos“ rezultatai buvo pagrįsti „griežtu daugiau nei 1800 tyrimų vertinimu“, kai iš tikrųjų rezultatai buvo grindžiami tik 176 tyrimais.
6. NHMRC naudojo metodiką, kuri niekada nebuvo naudota jokioje kitoje peržiūroje, nei prieš „Australijos ataskaitą“, nei po jos. Taryba nusprendė, kad bandymai turi būti „patikimi“ ir privalo turėti mažiausiai 150 dalyvių, bei pasiekti neįprastai aukštai nustatytą kokybės ribą. Nepaisant to, pati NHMRC reguliariai atlieka tyrimus, kuriuose dalyvauja mažiau nei 150 dalyvių.
7. Šios, jokio precedento neturinčios ir savavališkos taisyklės reiškė, kad 171 tyrimo rezultatai yra visiškai nevertingi, nes jie esą yra „nepatikimi“. Tik 5 bandymai NHMRC buvo traktuojami kaip „patikimi“. Kadangi visi penki tyrimai buvo įvertinti kaip neigiami, tai paaiškina, kas paskatino NHMRC paskelbti išvadą, kad „patikimų įrodymų, rodančių, kad homeopatija veikia, nėra“.
8. Profesorius Peteris Brooksas, NHMRC komiteto pirmininkas, atlikęs 2015 m. Australijos ataskaitos peržiūrą, pasirašė privačių interesų deklaracijos formą, teigdamas, kad jis nėra „susijęs arba nesusijęs su jokia organizacija, kurios interesus jis atstovautų arba prieštarautų homeopatijai“, nepaisant to, kad Peteris Brooksas yra prieš homeopatiją nusiteikusių lobistų grupės „Friends of Science in Medicine“ narys.
9. NHMRC gairėse teigiama, kad tokiuose komitetuose turi būti įtraukti nagrinėjamos temos ekspertai, tačiau šiame komitete nebuvo nė vieno homeopatijos eksperto.

Skundas Valstybiniam Ombudsmenui, siekiant išsamiai ištirti NHMRC elgesį

2016 m. rugpjūčio mėn. HRI atliko išsamią mokslinę analizę, kuri buvo panaudota teikiant skundą Valstybiniam Ombudsmenui (angl. Commonwealth Ombudsman). Skundą pasirašė Australijos homeopatijos asociacija, Australijos tradicinės medicinos draugija ir „Complementary Medicines Australia“ (CMA) atstovai.

Pradiniame įvertinime buvo nustatyta, kad skundas yra pakankamas, kad būtų galima išsamiai ištirti NHMRC elgesį. Kelių mėnesių laikotarpyje vykdytas tyrimas pareikalavo abiejų šalių indėlio, kadangi NHMRC yra kaltinimi šališkumu, interesų konfliktu ir nusižengimu mokslui.

Ombudsmenui pateikto skundo santrauką galite atsisiųsti paspaudę ant šios nuorodos. Video apžvalga yra pateikta žemiau:

Rachel Roberts, HRI generalinė direktorė, teigia:

NHMRC apžvalga yra šokiruojantis melagingo pranešimo pavyzdys. Sprendimų priėmėjai ir mokslo bendruomenė remiasi tokiais pranešimais ir turi pasitikėti jų tikslumu. Tai nėra susiję su kažkieno asmenine nuomone, homeopatija veikia, ar ne. Tai apie objektyvių įrodymų svarbą, nesvarbu ką jie teigtų, ir NHMRC to nepadarė.

Kadangi skundas vis dar nagrinėjamas, HRI analizė, sudaranti apie 60 puslapių, kol kas negali būti atskleista. Vis dėlto, HRI duomenys išsamiai atskleidė mokslinius NHMRC tyrimo trūkumus, dėl kurių „Australijos ataskaita“ privalo būti atšaukta.

• Naudojamas netinkamas mokslinis metodas;
• Nenaudojami standartizuoti, visuotinai patvirtinti metodai;
• Nepavyko gauti pakankamai tikslių duomenų, kad būtų atlikta tiksli apžvalga;
• Nesugebėjimas atlikti veiksmingos preliminarios ir viešos konsultacijos;
• Reikšmingi mokslinių tyrimų protokolo pakeitimai;
• NHMRC neįprasto naujo metodo įtaka peržiūros rezultatams;
• Šališki ir neteisingi peržiūros pateikimo įrodymai;
• Prasta apžvalga – aiškumo trūkumas, neatitikimai ir klaidos;
• Įrodymai, kad tai buvo tyčinio šališkumo atvejis, o ne mokslinė klaida.

Dr. Alex Tournier, HRI vykdomasis direktorius, paaiškina:

Netikslumai, esantys NHMRC ataskaitoje, yra tokie dideli, kad mes nusprendėme bendradarbiauti su AHA ir atlikti išsamų tyrimą, kad visiškai atskleistume, kas vyko ištikrųjų.

Skundo teikėjai šiuo metu laukia, ką pasakys Ombudsmenas. Kadangi klaidinga NHMRC homeopatijos apžvalga turėjo didelę įtaką homeopatijos tyrimų sričiai visame pasaulyje, HRI yra pasiruošusi pasidalinti bet kokia naujiena apie bylą ir jos progresą.

Rachel Roberts, HRI generalinė direktorė, teigia:

Visuomenė turi teisę žinoti, kad egzistuoja aukštos kokybės tyrimai, rodantys homeopatijos poveikį gydant kai kuriuos sveikatos sutrikimus, pvz., šienligę, sinusitą, vaikų viduriavimą. Ši informacija buvo prarasta tik dėl to, kad NHMRC neteisingai interpretavo šiuos įrodymus. Jei taip būtų elgiamasi su tradicinės medicinos įrodymais, kiltų didelis pasipiktinimas. Žinoma, jis būtų teisingas. NHMRC užduotis buvo tiksliai apibendrinti homeopatijos mokslinių tyrimų įrodymus ir pateikti juos visuomenei. Ši užduotis jiems visiškai nepavyko.

Pirmoji NHMRC ataskaita vis dar yra nepaviešinta

Australijos nacionalinė sveikatos ir medicinos tyrimų taryba homeopatijos tyrinėjimus vykdė 2010-2015 metais. Pradžioje, nuo 2012 m. balandžio iki 2012 m. rugpjūčio mėnesio, NHMRC dirbo su išoriniu rangovu. Buvo siekiama sukurti homeopatijos įrodymų peržiūrą ir informuoti Australijos visuomenę.

Peržiūra buvo pavadinta „Sisteminė homeopatijos veiksmingumo įrodymų apžvalga.“ Ši peržiūra buvo atlikta naudojant mokesčių mokėtojų pinigus ir niekada nebuvo paskelbta viešai. NHMRC ir toliau atsisako paviešinti šiuos duomenis, nepaisant „Teisės į laisvą informaciją“ (angl. Freedom of Information) prašymų.

Nutraukus sutartį su pirmąja peržiūros grupe, antras išorinis rangovas „Optum“ (anksčiau „OptumInsight“) buvo pasamdytas nuo 2012 m. gruodžio iki 2015 m. kovo mėnesio atlikti homeopatijos tyrimų peržiūrą.^[4]

HRI nėra vieninteliai, kurie išreiškė kritiką dėl „Australijos ataskaitos“ išvadų tikslumo

„Teisės į laisvą informaciją“ prašymai atskleidė, kad du nepriklausomi ekspertai, dar prieš galutinį ataskaitos paskelbimą, taip pat išreiškė susirūpinimą dėl 2015 m. ataskaitos išvadų vertinimo. Cochrane centras pakomentavo, kad tam tikromis sąlygomis „…patikimų įrodymų nėra teiginys neatrodo tikslus tyrimų rezultatų atspindys“. Tuo tarpu antras ekspertas jautėsi „neužtikrintas galutinėmis šios ataskaitos išvadomis“. NHMRC nusprendė ignoruoti šiuos atsiliepimus ir nepakeitė savo išvadų.

Priešingai nei teigia NHMRC išvados, „aukštos kokybės, gerai suplanuotų tyrimų su pakankamu tiriamųjų skaičiumi, kad gauti prasmingą rezultatą“ (NHMRC tyrimo aprašyme naudojami terminai) yra. Jų rezultatai rodo, kad tam tikros homeopatinės procedūros tam tikromis sąlygomis yra veiksmingos, pvz., šienligė, sinusitas, viršutinių kvėpavimo takų infekcijos, vaikų viduriavimas ir nugaros skausmas.

Faktas, kad tokių tyrimų rezultatai buvo nepagrįstai atmesti, reiškia, kad NHMRC, pateikdami klaidingas homeopatijos tyrimų veiksmingumo išvadas, netinkamai informavo visuomenę.

DUK apie „Australijos ataskaitą“

1. Ar yra koks nors mokslinis paaiškinimas dėl 150 tiriamųjų taisyklės? 

Ne. Nepavyko rasti kitos apžvalgos, atliktos NHMRC ar kitos tyrėjų grupės, kur dėl per mažos tiriamųjų imties būtų atmesti visi mažiau nei 150 tiriamųjų turintys tyrimų rezultatai.

Statistai gali patvirtinti, kad dalyvių skaičius, reikalingas tam, kad konkretus tyrimas būtų pakankamai „stiprus“ (turėtų pakankamai dalyvių, kad būtų galima pasiekti prasmingų rezultatų), priklauso nuo daugelio pačiam tyrimui būdingų veiksnių  Todėl tokio dalyko kaip „minimalus imties dydis“ kiekvienam tyrimui nėra, kaip ir nėra jokio statistinio pagrindimo, kad toks „minimalus imties dydis“ būtų N>150 (savavališkai).

Be to, NHMRC reguliariai finansuoja ir bendradarbiauja tyrimuose, kuriuose dalyvauja mažiau nei 150 tiriamųjų. Jeigu tikrai visi šie tyrimai yra savaime nepatikimi, nes juose per maža tiriamųjų imtis, kodėl jie finansuojami NHMRC?

2. Kurioje NHMRC ataskaitoje yra teigiama, kad mažiau nei 150 tiriamųjų imtis savaime reiškia, kad tyrimas yra nepatikimas?

NHMRC aiškiai nurodo, kad tyrimuose turėjo būti daugiau nei 150 dalyvių: Informacinio popieriaus C Priedas (psl. 35) ir Apžvalgos ataskaitos C Priedas (psl. 275):

Tiriant homeopatiją, buvo nuspręsta, kad tyrimai yra pakankamo dydžio, kai N>150 (t. y. tyrimai, kurie buvo priskirti vidutinio dydžio ar didesniems), nes jų rezultatai buvo nuolatiniai ir pasikartojantys.

NHMRC pateikė savo apžvalgos rezultatus taip, kad jie atspindėtų, ar buvo nustatyti „patikimi įrodymai“ tiriant homeopatijos veiksmingumą, tačiau iš jų dokumentų nėra lengva išsiaiškinti kokį „patikimų įrodymų“ apibrėžimą jie naudojo.

„Australijos ataskaita“ susideda iš trijų pagrindinių dokumentų:

• Informacinis dokumentas – lengvai suprantamas apibendrinimas visuomenei.
• Apžvalga – visiškai mokslinis įrodymų vertinimas.
• Apžvalgos ataskaitos priedai – papildoma pagrindinė informacija.

Informaciniame dokumente, NHMRC netiesiogiai apibrėžia „patikimą” tyrimą arba bandymą kaip „aukštos kokybės” – gerai suplanuotas, su pakankama tiriamųjų imtimi, kad būtų galima gauti reikšmingus rezultatus“ (Apžvalga, psl. 6):

Tyrimuose su žmonėmis nebuvo rasta jokių patikimų duomenų, kad homeopatija yra veiksminga gydant tam tikras sveikatos būkles. Nebuvo nė vieno aukštos kokybės, gerai suplanuoto tyrimo, kuriame buvo pakankama imtis, kad gauti reikšmingą rezultatą, todėl tyrimų, kurie patvirtintų, kad homeopatija turi poveikį sveikatos pagerėjimui, lyginant su placebu, arba didesnį poveikį sveikatai, lyginant su kitais gydymo būdais, nėra.

Informacinis lapas (angl. Information paper)

Nepaisant to, kad informacinis lapas yra pagrindinis dokumentas, skirtas paviešinti NHMRC išvadas visuomenei, dalyvių, kurių reikia, kad tyrimas būtų laikomas „patikimu“, skaičius nustatomas tik šio dokumento priede (psl. 35). Nors informaciniame dokumente 11 kartų vartojama frazė „pakankamai dalyvių, kad gauti reikšmingus duomenis“, faktinis reikalingas tiriamųjų imties dydis nėra nurodomas.

Ataskaitos apžvalga

Ataskaitos apžvalga yra pagrindinis mokslinis dokumentas, skirtas pateikti tikslias ataskaitos detales apie tai, kaip NHMRC atliko savo apžvalgą. Šiame dokumente niekur nėra aiškiai ir tiksliai apibrežiama, kad „pakankamai dalyvių, kad gauti reikšmingus rezultatus“ reiškia, jog viename tyrime turi būti ne mažiau nei 150 tiriamųjų.

Tiriamųjų skaičius yra minimas tik netiesiogiai (psl. 170, alerginio rinito įrodymų santrauka, antras punktas):

Nors tai nėra didžiausias šiame įrodymų rinkinyje nustatytas tyrimas ir nors jis yra mažesnis už sutartą pakankamą tiriamųjų imties ribą, vienas aukštos kokybės tyrimas su 144 dalyviais (Reilly ir kt., 1986) pranešė apie reikšmingą skirtumą tarp homeopatijos ir placebo.

5.1 Pagrindinių rezultatų apibendrinimas (psl. 284):

36 iš 61 sąlygų, bendras dalyvių, įtrauktų į tyrimą, skaičius, buvo mažesnis nei 150; todėl daugelio klinikinių tyrimų įrodymų bazė buvo nepakankama, kad galima būtų daryti aiškias išvadas dėl homeopatijos veiksmingumo.

Šis paskutinis pavyzdys sukelia dar daugiau sumaišties šios ataskaitos skaitytojams. Jame nurodoma, kad NHMRC naudojo N>150 ribą, kad bandymų grupėje nustatytų pakankamą tiriamųjų skaičių (apskaičiuojant įrodymų lygį sveikatos būklių rinkinyje), taip pat nustatytų šį kiekį kaip minimalų imties ribai nustatyti, kad tyrimas būtų traktuojamas kaip „patikimas“ (Dėl platesnės informacijos žiūrėti DUK 10 punktą).

Ataskaitos apžvalgos priedai

NHMRC aiškiai ir tiesiogiai apibrėžia „pakankamas kiekis dalyvių reikšmingam rezultatui“ atskirame suvestinės ataskaitos priedų dokumente C: įrodymų rengimo kriterijai, 1 elemento gairės: įrodymų rinkinio aprašymas, 7 punktas, 2 punktas (psl. 275 iš 282). 

Daugiau neradome jokių kitų peržiūrų, kurias atliko NHMRC ar kokia nors kita mokslinių tyrimų grupė ir buvo nustatyta, kad visų N<150 tyrimų rezultatai atmetami dėl nepakankamo dalyvių skaičiaus, nes jų rezultatai nėra „patikimi“.

Tai nenuostabu, nes statistikai gali patvirtinti, kad dalyvių, reikalingų tam, kad konkretus tyrimas būtų pakankamai „stiprus“ (t.y. turintis pakankamai dalyvių, kad pateiktų reikšmingus rezultatus), skaičius priklauso nuo daugelio tam bandymui būdingų veiksnių; todėl nėra jokio statistinio pagrindimo, kad toks „minimalus“ skaičius būtų nustatytas (savavališkai) N> 150.

3. Skeptikai: „Į ataskaitą yra įtraukti visi 176, ne tik 5, tyrimai“

Vertintojai peržiūrėjo visus 176 tyrimus kaip tinkamus įtraukti į ataskaitą. Visi jie yra aprašyti ir įvertinti apžvalgos ataskaitoje, todėl, techniškai kalbant, jie visi buvo įtraukti į ataskaitą.

Vis dėlto, visi, išskyrus 5 tyrimų, rezultatai buvo visiškai atmesti remiantis teiginiais: “Šie tyrimai yra nepakankamai kokybiški ir (arba) nepatikimi, kad būtų galima išsamiau apsvarstyti jų išvadas“ (Apžvalgos ataskaita, p. 38). Tai reiškia, kad, remiantis NHMRC ataskaita, visų, išskyrus 5 tyrimus, išvados buvo pašalintos iš galutinės ataskaitos.

Šis subtilumas akivaizdžiai sukėlė daug painiavos. Supratimas, kad 171 tyrimas apskritai nebuvo įtrauktas į „Australijos ataskaitą“, yra netikslus ir klaidingas.

Svarbu pažymėti, kad HRI mažesnius nei 150 dalyvių tyrimus visada nurodo kaip „nepakankamos kokybės“, arba kaip „atmestus“, o ne kaip „neįtrauktus“. Toks terminų pasirinkimas yra moksliškai apgalvotas, kadangi „neįtraukta“ sisteminėje apžvalgoje turi ypatingą reikšmę: neįtraukti tyrimai nėra įtraukiami į duomenų analizę, nes jie, dėl tam tikrų priežasčių, yra laikomi netinkamais.

Bandymai, kuriems nepavyko atitikti NHMRC „patikimumo kriterijų“, buvo „įtraukti“ ta prasme, kad jie buvo įtraukti į bendrą bandymų skaičių „pritaikytos GRADE analizės“ metu. Tačiau, rezultatai nebuvo apsvarstyti rengiant įrodymų ataskaitą, net jeigu tyrimų rezultatai parodė homeopatijos veiksmingumą (žiūrėti DUK 8 punktą).

Tai yra tipiškas šios ataskaitos pranešimo visuomenės klaidinimo pavyzdys.

4. Kaip NHMRC rengė ataskaitos įrodymus? Pateikite pavyzdį.

Vaikų viduriavimas (Diarėja)

Vaikų viduriavimo tyrimai ir homeopatijos įrodymai pateikiami Australijos ataskaitos 4.5.2 skyriuje (psl. 36-42). Į juos įtraukta:

• Lentelė, kurioje apibendrinamos visos sisteminės apžvalgos (SR), apimančios vaikų viduriavimo tyrimus;
• Trumpa sisteminė analizė ir bandymų aprašymas;
• Vertintojo komentarai;
• Įrodymų rinkinys. Čia pateikiamos bendrosios NHMRC išvados, įskaitant „pasitikėjimo lygį“ ataskaitoje (žiūrėti DUK 7 punktą) ir galutinę išvadą, ar yra įrodymų, kad ši sąlyga yra homeopatijos veiksmingumo įrodymas;
• Lentelė, kurioje pateikiama išsami informacija apie sisteminės analizės pateiktus įrodymus.

HRI analizė apie tai, kaip NHMRC tvarkė tyrimų įrodymus

5. Kurie iš 5 tyrimų yra vertinami kaip „patikimi“?

Penki tyrimai, kurie atitiko NHMRC „patikimumo“ reikalavimus:

• Lewith ir kt. (2002) Dvigubai aklas, placebo kontroliuojamas dulkių erkučių alergijos gydymo izopatijos metodu tyrimas (RCT).^[5]
• Jacobs ir kt. (2006) Dvigubai aklas, placebo kontroliuojamas tyrimas (RCT), įvertinantis ne individualius kompleksinius vaistus diarėjai (viduriavimui) gydyti.^[6]
• Stam ir kt. (2001) Atsitiktinių imčių, dvigubai aklas homeopatinio gelio ir kapsulių pagrindu pagaminto produkto, skirto ūmiam nugaros skausmui, lygiavertiškumo tyrimas.^[7] Tyrimo rezultatas buvo teigiamas.
• Grecho (1989) Vertinami du homeopatiniai produktai, naudojami žarnyno praeinamumui po virškinimo operacijos gerinti.^[8] Tyrimas prancūzų kalba, todėl, pagal jų protokolą jis turėjo būti atmestas.
• Steinsbekk ir kt. (2005) Dvigubai aklas, placebo kontroliuojamas tyrimas, (RCT) vertinantis savarankišką gydimą (renkantis iš 3 priemonių), skirtą vaikų viršutinių kvepavimo takų infekcijos profilaktikai. Prevencinis tyrimas, kuris, pagal jų protokolą, turėjo būti atmestas.^[9] Prevencinis tyrimas, todėl pagal jų protokolą jis turėjo būti atmestas.

6. Kur NHMRC ataskaitoje galima rasti 5 „patikimų“ tyrimų sąrašą?

Tyrimų, kurie atitiko NHMRC „patikimų“ tyrimų apibrėžimą, sąrašas „Australijos ataskaitoje“ nėra pateiktas. Pagal HRI analizę, tai turėjo būti nustatyta taip:

1. Į homeopatijos apžvalgą įtraukti 176 tyrimai;
2. NHMRC teigė, kad tyrimas yra patikimas tada, kai turi 150 dalyvių. HRI nustatė, kad iš 176 tyrimų tik 30 tyrimų atitiko šią imtį (atsižvelgiant į apžvalgos ataskaitos dydžius);
3. NHMRC teigė, kad, norint, jog tyrimas būtų patikimas, Jadad reitingų skalėje (arba lygiavertėje alternatyvioje skalėje) turėjo būti 5/5 kokybės balas. HRI nustatė, kad iš šių 30 tyrimų tik 5 tyrimai atitiko šią nustatytą kokybės ribą;
4. Taigi, tik 5 tyrimai atitiko NHMRC patikimo tyrimo apibrėžimą.

HRI duomenų analizės lentelėje matyti, kaip NHMRC apibrėžia „patikimą“ tyrimą, kuris nebuvo matomas jų ataskaitoje, nes šie duomenys nebuvo pateikti.

7. Kodėl NHMRC rezultatų išvados yra netikslios?

NHMRC savo santraukoje teigia, kad „… geros kokybės, gerai suprojektuotų tyrimų, kuriuose dalyviai pasiektų reikšmingų rezultatų, pranešė, kad homeopatijos poveikis buvo didesnis už placebą, arba kad sveikatos pagerėjimas buvo lygus kitokiam gydymui, nebuvo“ (Informacinis lapas, psl. 6).

Tai yra netiesa. Šie tyrimai atitiko geros kokybės tyrimo apibrėžimą, buvo gerai suprojektuoti ir, reikšmingam rezultatui pasiekti, turėjo pakankamą dalyvių skaičių (tyrimų rezultatai yra statistiškai reikšmingi).

Šio studijos pristatė, kad „homeopatijos paskirtas sveikatos pagerėjimo poveikis yra didesnis už placebą“:

• Dviejuose tyrimuose nustatyta, kad, vaikų viduriavimo gydymui, individualizuoto homeopatinio gydymo rezultatas buvo didesnis už placebą (N=92^[10] ir N=126).^[11]
• Nustatyta, kad homeopatinio vaisto sinusitui gydyti, Sinfrontal, poveikis sveikatai yra didesnis už placebą (N=113) (p<0.0001).^[12]
• Homeopatinių vaistų derinio Pollen C30, šienligės gydymui, poveikis sveikatai yra didesnis negu placebas (N=144) (p=0,02).^[13]
• Individualizuota imunoterapija (naudojant homeopatinius vaistus, pagamintus iš tos medžiagos, kuriai pacientas yra alergiškas, pvz., namų dulkių erkutėms arba kačių plaukams), veikė geriau nei placebas gydant šienligę (alerginį rinitą) (N=51) (p=0,0001).^[14]
• Nustatyta, kad, esant viršutinių kvėpavimo takų infekcijos sukeltam kosuliui, homeopatinio kosulio sirupo poveikis sveikatai yra didesnis už placebą (N=80).^[15]

Šie tyrimai parodė, kad homeopatinio gydymo sukeltas „sveikatos pagerėjimas, yra lygus kitokio gydymo poveikiui“:

• Homeopatinio vaistinio preparato, nosies purškalo Luffa compositum poveikis gydant šienligę (alerginį rinitą) (N=146).^[16]
• Nustatyta, kad homeopatinis gelis Sprioflor SRL yra toks pat veiksmingas gydant nugaros skausmą, kaip ir standartinis gydymas naudojant Cremor Capsici Composites (N=161).^[17]

Svarbu paminėti, kad teigiami šių tyrimų rezultatai nepaneigiami jokiais kitais tyrimais, bandančiais atkartoti tuos pačius gydymo metodus, tokiomis pačiomis sąlygomis.

8. Ar NHMRC homeopatijos tyrimus įvertino taip pat, kaip įprastai vertina savo tyrimus?

NHMRC teigia, kad homeopatijos peržiūra atlikta naudojantis įprastais būdais, tačiau taip nėra.

Palyginimas su kitomis „Cochrane“ apžvalgomis

NHMRC teigia, kad apžvalgą atliko naudodami metodą, kildinamą iš Cochrane vadovo, Intervencijų Sisteminės Peržiūros 22 skyriaus (Apžvalgos ataskaita, psl. 12), kuriame aprašytas Cochrane apžvalgos metodas.^[18] Tuo tarpu, ruošiant pareiškimą Ombudsmenui, (2016 m. vasario – rugpjūčio mėn.) buvo nustatyta 16 paskelbtų Cochrane apžvalgų, iš kurių nė viena neturi minimalios imties dydžio ar minimalios kokybės ribos.

Palyginimas su kitomis NHMRC įrodymų apžvalgomis

Kiti NHMRC paskelbti įrodymų patikrinimai taip pat neturi minimalaus imties dydžio, kad būtų laikomi patikimais. Pavyzdžiui, informaciniame dokumente Švino poveikis žmonių vveikatai, NHMRC, remdamiesi tyrimų rezultatais, kurių imtis siekia nuo 52 iki 780, padarė išvadas dėl įvairių intervencinių priemonių veiksmingumo.^[19]

NHMRC pateikiamos Klinikinės praktikos gairės, skirtos ribiniam asmenybės sutrikimo valdymui^[20] pateikia savo išvadas ir rekomendacijas dėl ribinio asmenybės sutrikimo, kuriose remiamasi farmakologinio gydymo, kurio imtis svyruoja nuo 16 iki 263, ir psichologinio gydymo, kurio imtis svyruoja nuo 19 iki 1374, rezultatais.

Palyginimas su BMJ klinikinių tyrimų įrodymų apžvalgomis

Itin gerbiamo „British Medical Journal“ (BMJ) klinikinių tyrimų apžvalgos turi minimalios imties ribą. Vis dėlto, ji nustato, kad atsitiktinių imčių kontroliuojamuose tyrimuose turi būti „ne mažiau kaip 20 žmonių“ (N>20), nors “… šie kriterijai skiriasi, priklausomai nuo tyrimo srities: pavyzdžiui, jeigu įrodymai yra silpni arba jų išvis nėra, į atsitiktinių imčių apžvalgą galime įtraukti tyrimą, turintį mažiau nei 20 žmonių”.^[21] 

HRI analizė rodo, kad, jeigu NHMRC būtų naudoję BMJ kriterijų N=20, būtų atmesti tik 10 tyrimų, o ne 146 tyrimų, rezultatai, kaip nutiko naudojant N=150 tyrimo ribą.

Šis BMJ požiūris išreiškia pagrindinį apžvalgų ir klinikinių įrodymų peržiūros tikslą, t.y. apibendrinti visus turimus įrodymus, susijusius su šia tema, ypač tose srityse, kuriose buvo atlikta tik nedidelė tyrimų dalis. Tai labai prieštarauja NHMRC metodui, kuris nurodo kritinį N>150 slenkstis ir 5/5 kokybės balą, reikalingus teigiamiems tyrimo rezultatams, kad jie būtų viešai pateikti informaciniame dokumente kaip patikimi homeopatijos veiksmingumo įrodymai.

Todėl aišku, kad tam tikri jų unikalios metodikos aspektai, kuriuos NHMRC sukūrė šiai homeopatijos peržiūrai, yra beprecedenčiai ir neturintys mokslinio pagrindimo.

9. NHMRC „pritaikytas“ GRADE metodas, skirtas pasitikėjimo lygiui įvertinti

„GRADE analizė“ yra standartizuotas įrodymų rinkinio kokybės nustatymo būdas, atsižvelgiant į tai, kaip tiksliai galima pasitikėti klinikinio poveikio vertinimu, kurį nustatė tiriamųjų grupė.^[22] GRADE metodas naudojamas norint įvertinti kaip tikri mes esame, jog konkretus gydymas yra veiksmingas specifiniam sveikatos sutrikimui pašalinti, pvz. tam tikram simptomui, skausmui arba kosuliui. Dėl šios priežasties, GRADE paprastai naudojamas tik tuo atveju, jei visuose grupės tyrimuose buvo vertinamas vienodas gydymo poveikis, šalinant tą patį sveikatos sutrikimą.^[22] 

GRADE analizė atliekama tik tuo atveju, jei duomenys šiam metodui yra tinkami; homeopatijos apžvalgoje, vertinant daugumą sveikatos būklių, nebuvo pakankamo tyrimų kiekio, kurių klinikinis rezultatas būtų toks, kokio reikalauja GRADE metodas, kad jie būtų vertinami kaip tinkama priemonė. Tačiau vietoj to, kad būtų priimtas tinkamas sprendimas nenaudoti GRADE metodo, Homeopatijos darbo komitetas sukūrė savo “pritaikytą GRADE versiją…, kad būtų galima pateikti išsamius pareiškimus apie pasitikėjimo lygį (LOC) visame įrodymų rinkinyje“ (Informacinis dokumentas, psl. 36).

Šią „pritaikytą GRADE analizę“ NHMRC naudojo tam, kad kiekvienai sveikatos būklei priskirtų patikimumo lygio įrodymus (LOC), skirtus tyrimams, kuriuose homeopatijos poveikis lyginamas su placebu, arba kitiems gydymams, skirtiems šalinti atskirus sveikatos sutrikimus. 

Nors GRADE metodas yra pritaikytas prie įvairių klinikinių klausimų ir scenarijų, pagrindiniai šio metodo principai, kurių turi būti laikomasi, yra: metodo taikymas atskiriems rezultatams (tai yra svarbiausia), ir, antra, metodo taikymas bandymams, kuriems taikomas toks pat gydymas. HWC nesilaikė šių principų – jie taikė savo naują metodą tyrimų grupėms, apimančioms įvairius klinikinius rezultatus ir (tam tikrais atvejais) tyrimus, kurie naudojo skirtingus homeopatinio gydymo būdus. Tai yra beprecedentis ir netinkamas GRADE metodo pritaikymas. 

HWC sukurtas „pritaikytas GRADE“ metodas pirmiausia naudojo „kokybę“ ir „tikslumą“ (du kriterijus, kurie turėjo pakankamai duomenų apie nustatytus 176 pirminius tyrimus), nes „likusius GRADE veiksnius buvo sunku pritaikyti“ (Informacinis Lapas, psl. 37).

Lyginant su įprastu GRADE metodo įvertinimu, šis sprendimas paskatino pernelyg perdėtą tyrimų kokybės ir imties dydžio (tikslumo) poveikį klinikinių būklių įrodymams (patikimumo lygiui nustatyti); galiausiai, 66 iš 71 tyrimo iškart, prieš pradedant svarstyti kitus veiksnius, buvo įvertinti kaip turintys „silpną“ arba „labai silpną“ patikimumo lygį, kuris buvo grindžiamas tik dviem kriterijais. 

Skaidrumas yra esminis geros kokybės mokslinių tyrimų elementas, kuris leidžia kitiems tyrėjams įvertinti taikomo metodo tinkamumą ir gauti mokslu pagrįstus rezultatus. Mes teigiame, kad tai yra dar svarbiau, ypač kai buvo imtasi visiškai naujo metodo, tokio kaip HWC pritaikytas GRADE įrodymų vertinimas, apimantis skirtingus klinikinius rezultatus ir būkles.

Apžvalgos paprastai pateikia GRADE lenteles, kuriose tiksliai nurodoma, kaip buvo pasiektos išvados, siekiant tyrimų kokybės^[22] – skaidrumo lygis, kuris matomas kitose NHMRC apžvalgose, pvz. Informacinis dokumentas dėl Švino poveikio žmonių sveikatai.^[19]

NHMRC teigia, kad homeopatijos apžvalga buvo atlikta etiškai ir skaidriai, tačiau jie nepateikė savo „pritaikyto GRADE“ metodo skaičiavimų nė viename iš jų pateiktų 600 puslapių dokumentų. Tai reiškia, kad skaitytojas turi visiškai pasikliauti HWC (Informacinis lapas, psl. 36) „sprendimu ir patirtimi“ ir pasitikėti, kad įvertintų tyrimų kokybė ir išvados yra tikslios ir teisingos.

Beprecedentis metodas, kurio metu NHMRC, nustatytiems homeopatijos tyrimų įrodymams, taiko įrodymų patikrimumo lygius, akivaizdžiai nėra standartizuotas ar visuotinai priimtas; jam taip pat trūksta skaidrumo ir jis neatitinka tarpusavio vertinimo. Todėl įrodymų patikimumo vertinimo metodas LOC negali būti laikomas patikimu. 

10. N>150 imties dydis – „patikimumo“ riba prieš GRADE analizę

Suprantama, kad „Australijos ataskaitoje“ yra šiek tiek painiavos dėl N>150 imties dydžio naudojimo. 150 dydis buvo naudojamas dviem skirtingais būdais.

Pirma, NHMRC, apibūdindami bandymų dydį, šią imtį naudojo kaip ribą (Informacinis popierius, psl. 35):

• <50: labai mažas
• Nuo 50 iki 149: mažas
• Nuo 150 iki 499: vidutinis
• Nuo 500 iki 999: didelis
• ≥1000: labai didelis.

Šie imties dydžio aprašymai buvo naudojami kai NHMRC atlikinėjo „pritaikytą GRADE“ analizę, kad įvertintų kiekvienos būklės „pasitikėjimo lygį“ (žiūrėti DUK 8 punktą).

N=150 naudojimas, kaip mažo ir vidutinio bandymo ribos, yra moksliškai tinkamas sprendimas, nes nėra bendro labai mažo, mažo, vidutinio, didelio ar labai didelio tyrimo standarto apibrėžimo. Todėl, kiekviena mokslininkų peržiūros grupė nusprendžia, kaip savo apžvalgoje įvertins imties dydį.

Antra, NHMRC naudojo N>150 imties ribą kaip slenkstį, nuspręsti, ar bandymas buvo patikimas, ar ne. Tai visiškai skirtingas dalykas ir tai neturi jokio mokslinio pagrindimo (žiūrėti DUK 1 punktą).

NHMRC rezultatai, vertinant kiekvieną sveikatos būklę, siekė įtraukti tik tuos tyrimus, kuriuos jie laikė „patikimais“. Visų kitų tyrimų, kuriuose dalyvavo mažiau nei 150 dalyvių, rezultatai iškart buvo atmesti kaip nepatikimi, net jei tyrimas buvo aukštos kokybės, pasiekė teigiamų ir statistiškai reikšmingų rezultatų (žiūrėti DUK 1 punktą). Taigi, NHMRC išvados buvo visiškai iškraipytos, manipuliuojant taisykle, kuri neturi jokio mokslinio argumento.

11. Atrodo, kad NHMRC pateisino N>150 ribos naudojimo metodą

Atsižvelgiant į jokių mokslinių argumentų neturinčio N>150 metodo naudojimą, kaip bandymą nustatyti „patikimumo“ slenkstį homeopatijos apžvalgoje, reikėtų tikėtis, kad ši taisyklė yra aiškiai pagrįsta, tačiau ataskaitoje ji nebuvo nei paaiškinta, nei pateisinta.

Paaiškindami savo sprendimą apibūdinti tyrimus, kurių imties dydis yra mažesnis nei N=150, kaip „mažus“ arba „labai mažus“, NHMRC remiasi autoritetingo žurnalo BMJ straipsniu.^[23] NHMRC pasakė: „HWC (Homeopatijos darbo komitetas) apsvarstė šį dalyvių ribos nustatymo tyrimą: bandomojo imties dydžio įtaka gydymo poveikio įvertinimams: meta-epidemiologinis tyrimas“ (Apžvalgos ataskaitos priedai, psl. 274). Tai reiškia, kad jų sprendimas atmesti tyrimus, kurie yra mažesni nei N=150 kaip „nepatikimus“, moksliškai šio dokumento pagalba nėra pagrįstas.

Pirma, šiame dokumente nėra teigiama, kad, priklausomai nuo imties dydžio, vieni ar kiti tyrimų rezultatai turėtų būti atmesti, kaip nepatikimi. Antra, NHMRC teisingai teigia, kad dauguma jų įvertintų homeopatinių tyrimų naudoja „tęstinus rezultatus“ (continuous outcomes), tačiau BMJ dokumente yra kategoriškai teigiama, kad šio dokumento išvados negali būti taikomos tokio pobūdžio bandymams.