Pokazalo se da se oko 50% naučnih eksperimenata ne može reproducirati

2024 Autor: Seth Attwood | [email protected]. Zadnja izmjena: 2023-12-16 15:59

Slučajno, u nizu vijesti i informacija, naišao sam na članak u Nature Scientific Reports. Predstavlja podatke iz ankete od 1.500 naučnika o ponovljivosti rezultata naučnog istraživanja. Ako se ranije ovaj problem postavljao za biološka i medicinska istraživanja, gdje je s jedne strane objašnjiv (optužuje se lažna korelacija, opća složenost sistema koji se proučava, ponekad čak i naučni softver), s druge strane, on ima fenomenološki karakter (na primjer, miševi imaju tendenciju da se različito ponašaju sa naučnicima različitog spola (1 i 2)).

Međutim, nije sve glatko i uz višeprirodne nauke kao što su fizika i inženjerstvo, hemija, ekologija. Čini se da su upravo ove discipline zasnovane na "apsolutno" reproducibilnim eksperimentima koji se izvode u najkontrolisanijim uslovima, avaj, nevjerovatan - u svakom smislu riječi - rezultat ankete: do 70%suočili istraživači Nereproducibilnoeksperimente i rezultate koje su dobile ne samo druge grupe naučnika, ALI i od strane autora/koautora objavljenih naučnih radova!

Da li svaki pješčanik hvali svoju močvaru?

Iako 52% ispitanika ukazuje na krizu reproduktivnosti u nauci, manje od 31% smatra objavljene podatke fundamentalno netačnim, a većina je navela da i dalje vjeruje objavljenom radu.

Naravno, samo na osnovu ove ankete ne bi trebalo skidati s ramena i linčovati svu nauku kao takvu: polovina ispitanika i dalje su naučnici koji su na ovaj ili onaj način povezani sa biološkim disciplinama. Kako napominju autori, u fizici i hemiji nivo ponovljivosti i povjerenja u dobijene rezultate je mnogo veći (vidi grafikon ispod), ali još uvijek ne 100%. Ali u medicini stvari stoje jako loše u poređenju sa ostalima.

Pada mi na pamet šala:

Marcus Munafo, biološki psiholog sa Univerziteta u Bristolu, Engleska, ima dugogodišnje interesovanje za reproducibilnost naučnih podataka. Prisjećajući se studentskih dana, kaže:

Jednom sam pokušao da reproduciram eksperiment iz literature koji mi se činio jednostavnim, ali jednostavno nisam mogao. Imao sam krizu samopouzdanja, ali onda sam shvatio da moje iskustvo nije tako rijetko.

Problem širine i dužine dubine

Zamislite da ste naučnik. Naišli ste na zanimljiv članak, ali rezultati/eksperimenti se ne mogu reproducirati u laboratoriju. Logično je pisati o tome autorima originalnog članka, pitati za savjet i postavljati pojašnjavajuća pitanja. Prema anketi, manje od 20%su to uradili ikada u svojoj naučnoj karijeri!

Autori studije napominju da su, možda, takvi kontakti i razgovori preteški za same naučnike, jer otkrivaju njihovu nekompetentnost i nedosljednost u određenim pitanjima ili otkrivaju previše detalja trenutnog projekta.

Štaviše, apsolutna manjina naučnika pokušala je da objavi opovrgavanje neponovljivih rezultata, nailazeći na protivljenje urednika i recenzenata koji su zahtijevaoumanjiti poređenje sa originalnim istraživanjem. Da li je čudno što je šansa da se prijavi nereproducibilnost naučnih rezultata oko 50%.

Možda bi se, dakle, isplatilo barem provesti test reproduktivnosti unutar laboratorija? Najžalosnije je što čak trećina ispitanika NIKADi nije razmišljao o stvaranju metoda za provjeru podataka radi ponovljivosti. samo 40%naveli da redovno koriste takve tehnike.

Drugi primjer, biohemičarka iz Ujedinjenog Kraljevstva, koja nije htjela otkriti svoje ime, kaže da pokušaji ponavljanja, reprodukcije rada za njen laboratorijski projekat jednostavno udvostručuju vremenske i materijalne troškove, bez davanja ili dodavanja bilo čega novog u rad. Dodatne provjere se provode samo za inovativne projekte i neobične rezultate.

I, naravno, vječna ruska pitanja koja su počela mučiti strane kolege: ko je kriv i šta da se radi?

ko je kriv?

Autori rada su identifikovali tri glavna problema ponovljivosti rezultata:

• Pritisak nadređenih da se rad objavi na vrijeme
• Selektivno izvještavanje (očigledno, znači potiskivanje nekih podataka, koji "kvare" cijelu sliku)
• Nedovoljna analiza podataka (uključujući statističke)

šta da radim?

Od 1.500 ispitanih, više od 1.000 stručnjaka izjasnilo se za poboljšanje statistike u prikupljanju i obradi podataka, poboljšanje kvaliteta nadzora od strane šefova i rigoroznije planiranje eksperimenata.

Zaključak i malo ličnog iskustva

Prvo, čak i za mene, kao naučnika, rezultati su zapanjujući, iako sam navikao na određeni stepen neponovljivosti rezultata. To je posebno vidljivo u radovima koje izvode Kinezi i Indijci bez "revizije" treće strane u vidu američkih/evropskih profesora. Dobro je da je problem prepoznat i da se razmisli o njegovom rješenju. O ruskoj nauci, u vezi sa nedavnim skandalom, taktično ću prećutati, iako mnogi pošteno rade svoj posao.

Drugo, u članku se zanemaruje (ili bolje rečeno, ne razmatra) uloga naučne metrike i recenziranih naučnih časopisa u nastanku i razvoju problema neponovljivosti rezultata istraživanja. U potrazi za brzinom i učestalošću objavljivanja (čitaj, porast indeksa citiranosti), kvalitet naglo opada i nema vremena za dodatnu provjeru rezultata.

Kako kažu, svi likovi su izmišljeni, ali zasnovani na stvarnim događajima. Nekako je jedan student imao priliku da recenzira članak, jer nema svaki profesor vremena i energije da pažljivo pročita članke, pa se prikuplja mišljenje 2-3-4 studenta i doktora iz čega se formira recenzija. Napisana je recenzija koja je ukazala na neponovljivost rezultata prema metodi opisanoj u članku. To je profesoru jasno pokazano. Ali da ne bi pokvarili odnose sa "kolegama" - uostalom, oni u svemu uspijevaju - recenzija je "ispravljena". I objavljena su 2 ili 3 takva članka.

Ispada začarani krug. Naučnik šalje članak uredniku časopisa, gdje naznačuje „ željeno"I, uglavnom," nepoželjan »Recenzenti, odnosno ostavljaju se, zapravo, samo oni koji su pozitivno raspoloženi prema autorskom timu. Recenziraju rad, ali ne mogu da se “sraju u komentare” i pokušaju da od dva zla izaberu manje – evo liste pitanja na koja treba odgovoriti, a onda ćemo objaviti članak.

Drugi primjer, o kojem je urednik časopisa Nature govorio prije samo mjesec dana, su Grazelovi solarni paneli. Zbog ogromnog interesovanja za ovu temu u naučnoj zajednici (uostalom, i dalje žele članak u Nature!), urednici su morali da naprave poseban upitnik u kojem treba da navedu mnogo parametara, da obezbede kalibracije opreme, sertifikate itd. da se potvrdi da je metoda za mjerenje efikasnosti panela u skladu sa nekim općim principima i standardima.

I, treći, kada opet čujete za čudesnu vakcinu koja osvaja sve i svakoga, nova priča o poslovima u suknji, novim baterijama ili opasnostima/koristima GMO-a ili zračenja pametnih telefona, pogotovo ako su je promovirali žuti pisci iz novinarstva, onda se odnosite s razumijevanjem i nemojte prebrzo donositi zaključke. Sačekajte potvrdu rezultata od strane drugih grupa naučnika, akumulaciju niza i uzoraka podataka.

PS: Članak je preveden i napisan na brzinu, o svim uočenim greškama i netačnostima pišite na LAN.