Laži koje se temelje na dokazima

Pročelje istinitosti u medicinskoj znanosti ovisi o širokom neznanju

John Snow, engleski liječnik iz 19. stoljeća, cijenjen je danas kao titan medicinske povijesti. Ali 1854., kada je dao veliki doprinos znanosti - skidajući ručku s londonskom pumpom za vodu - ismijavan je i odbačen kao kvota. Pretrpio je moždani udar i umro je četiri godine kasnije, još uvijek nije prepoznat značaj njegovog genija.

Tek osam godina nakon njegove smrti John Snow ga je osvetio, ironično, jedan od njegovih najomraženijih prijevara. Snijeg se uvjerio da je jedna kontaminirana vodena pumpa pokrenula masovnu epidemiju kolere u to vrijeme u Londonu. Vodeći današnji znanstvenici odbacili su njegovu teoriju, umjesto da podržavaju tadašnju dogmu da je za to kriv "loš zrak". Na kraju su dovedeni dokazi koji potkrepljuju Snowovu hipotezu, a 1866. godine veličina Snowova otkrića postala je jasna. Bio je u pravu što se kolera prenosi putem vodovoda, a njegova objava nastavila je spašavati bezbrojne živote.

Većina napretka u medicinskoj znanosti proizlazi iz čestih, ali inkrementalnih poboljšanja. Otkrića značajna kao Snijeg izuzetno su rijetka. Ali kad do toga i dođe, obično je potrebno godinama ili desetljećima prije nego što čovječanstvu profitiraju u velikoj mjeri jer je dobivanje velikih inovacija iz laboratorija u javnost težak proces koji dalje otežavaju ukorijenjene doktrine. Penicilin je otkriven 1928., ali nije imao široku javnu upotrebu sve do šesnaest godina kasnije 1944. Životi su bespotrebno izgubljeni dok je penicilin mukotrpno micao prema velikoj proizvodnji i distribuciji bezbroj.

Završetak projekta Ljudski genom 2001. godine vjerojatno je najnoviji veliki biomedicinski iskorak (CRISPR je ovdje možda kandidat, ali je u mnogim aspektima izveden iz projekta Ljudski genom). Planiranje za tu inicijativu počelo je oko 1984. Danas se pragmatične primjene Projekta ljudskog genoma na populacijskoj razini tek počinju gomilati. Ocean ocea koji leži između utvrđivanja redoslijeda ljudske DNK i iskorištavanja tih informacija za poboljšanje velikog broja ljudskih prava životi su ogromni.

Serendipity doprinosi nekim velikim znanstvenim dostignućima - penicilin je otkriven slučajno - ali većina je proboj nastala iz godina zamornog rada tijekom kojeg se događa vrlo malo stvarnih inovacija. Napredak je, prema tome, na prednjem kraju spor zbog detalja same znanosti, a na stražnjem dijelu zbog izazova svojstvenih otkrićima.

Ali većina javnosti ne vidi sporost medicinskog napretka. Pretjerano tumačenje i hiperbola u medijima stvaraju dojam da medicinska znanost redovito postiže podvige izjednačene s dr. Snowom i da se većina suvremene medicine temelji na pouzdanim dokazima koji napreduju velikom brzinom. Naslovi svakodnevno objavljuju novu veličanstvenu biomedicinsku priču o uspjehu prijavljujući relativne brojeve i izostavljajući kontekst. Medicinski propagandni mehanizam osigurava da, kako teret kroničnih bolesti povezanih sa životnim stilom prijeti smanjenjem očekivanog trajanja života Amerikanaca, prvi put nakon desetljeća, mase misle da medicina ima znanje za stvarnu promjenu.

John Snow

Međunarodni odbor za provjeru identiteta ćelija održava bazu podataka pogrešno identificiranih ćelija koje se koriste u biomedicinskim istraživanjima. Znanstvenici koji proučavaju osnovne ćelijske funkcije ili pokušavaju otkriti nove lijekove rade veći dio svog istraživanja na ćelijama koje dobivaju od kompanija za bio-opskrbu poštama ili iz zaliha duboko u zamrzivaču laboratorija. Pretpostavka koja stoji u osnovi čitavog njihovog rada je da su stanice na kojima izvode svoje eksperimente pravi modeli za pojave koje ispituju.

To je sjajna teorija, ali mnogi znanstvenici nemaju pojma koliko je daleko od stvarnosti koja teorija odstupa. A oni koji to radije često zaklone očima jer je problem toliko dubok da može izbrisati desetljeća svog životnog posla.

Ispada da je zapanjujući dio stanica koji se koriste za osnovna znanstvena istraživanja pogrešno identificiran. Drugim riječima, znanstvenici koji misle da proučavaju zdrave stanice jetre ili stanice raka dojke često zapravo rade sa stanicama raka vrata maternice. U mnogim su slučajevima čak i vrste pogrešne - istraživači koji misle da rade na ljudskim stanicama zapravo mogu analizirati stanice štakora. Problem je u cijelom svijetu, a brojke su zapanjujuće. Nedavni rad koji je objavila Federacija američkih društava za eksperimentalnu biologiju pokazao je da je 85% staničnih linija uspostavljenih u Kini pogrešno identificirano. Drugi nedavni članak, objavljen u PLoS One, pruža mračan sinopsis prožetosti pogrešne identifikacije stanica u znanstvenoj literaturi i beskorisnost napora da se zaobiđe problem:

„Iako su problemi s pogrešnom identifikacijom staničnih linija poznati desetljećima, nepoznati broj objavljenih radova i dalje ostaje u prometu koji izvještavaju o pogrešnim ćelijama bez upozorenja ili ispravke. … Pronašli smo 32.755 članaka koji izvještavaju o istraživanju s pogrešno identificiranim ćelijama, a zauzvrat ih je citiralo oko pola milijuna drugih radova. Kontaminacija literature s vremenom se ne smanjuje i ograničava se na zemlje na periferiji globalne znanosti. Desetogodišnji i često sporni pokušaji zaustavljanja pogrešne identifikacije staničnih linija pokazali su se nedovoljnim. "

Nepravilna identifikacija staničnih linija ne samo da narušava istraživanje koje se oslanjalo izravno na pogrešno identificirane stanice, već i kocka hipoteze koje su stvorili drugi istraživači na temelju objavljenih radova koji su koristili pogrešno označene stanice. Rezultat je nevjerojatan gubitak novca i vremena koji dodatno odgađa vrhunac znanstvenog napretka.

Nepravilna identifikacija stanica prožima znanstvenu literaturu još od desetljeća. Slojevi naknadnog citiranja pogrešnih radova skrivaju podrijetlo onoga što su danas vjerovatno astronomski brojevi pogrešnih pretpostavki u biološkoj znanosti. Vrlo je vjerojatno da su mnogi znanstvenici izgubili čitavu karijeru izvodeći pogrešne zaključke zbog pogrešne identifikacije stanice. Količina novca poreznih obveznika koja se financira istraživačkim istraživanjima koja čak nisu učinjena na pravoj vrsti ćelija vjerojatno predstavlja jedan od najvećih gubitaka potrošača u cijeloj biomedicini.

Podjela HeLa stanica, skeniranje elektronskim mikroskopom. Credit Steve Gschmeissner. Stanice HeLa, dobivene iz karcinoma grlića Henrietta Lacks, jedan su od najvećih kontaminanata u pogrešno identificiranim staničnim linijama.

Temeljno načelo znanosti je da se nalazi moraju reproducirati. Jedan pokus ne utvrđuje nove istine. Rezultate moraju ponoviti drugi koristeći metode opisane od strane izvornih istražitelja. Umnožavanje je ključno za osiguravanje da zaključci nisu lažni. Ipak, nauku zasad obiluju horda neupadljivih rezultata studija.

"Više od 70% istraživača pokušalo je i nije uspjelo reproducirati eksperimente drugog znanstvenika, a više od polovice nije uspjelo reproducirati vlastite eksperimente."

Dakako, pogrešna identifikacija stanica glavni je doprinos krizi replikacije u osnovnoj biološkoj znanosti. Međutim, statistika i pristranost publikacija kombiniraju se u obliku još jednog nevjerojatnog pseudoznanstvenog zdanja koji objavljuje neizrecive rezultate u znanstvenim žanrovima i dovodi u zabludu javnost.

Zloglasna P-vrijednost leži u središtu stvari. Jednostavno rečeno, P-vrijednost je proizvoljna procjena vjerojatnosti da će rezultati određenog pokusa biti slučajni. Šifra prihvaćena u znanstvenim disciplinama je 5%. Drugim riječima, dok statistika kaže da je vjerojatnost da je određeni rezultat samo zbog šanse 5% ili manje, tada se rezultat smatra "značajnim". To bi na prvi pogled moglo zvučati dobro, ali kad se malo više ispita usko, u vezi s konceptom pristranosti objave, ograničenja se brzo povećavaju.

Značaj 5%, odnosno .05, P vrijednosti je potpuno proizvoljno. Čovjek po imenu Ronald Fisher nadmislio ga je još u 1920-ima. Ona se temelji na gruboj aproksimaciji koliko će normalna (Gaussova) distribucija pasti unutar dva standardna odstupanja od prosjeka - oko 95%. (Neću ulaziti u probleme s uobičajenom distribucijom u ovom postu, ali preporučit ću svima koji su zainteresirani za ovaj koncept da pročita knjigu Nassima Nikole Taleba "Crni labud".)

P-vrijednost od 0,05 znači da će jedan rezultat u 20 biti slučajni. Ali koliko milijuna rezultata se godišnje postigne znanstvenim eksperimentima širom svijeta? Nepobitan broj. Gotovo je zajamčeno da tisuće rezultata samo zbog slučajnosti proizlaze iz područja teorije i upadaju u ono što pretpostavljamo da svake godine nazivamo stvarnošću. A to su rezultati koji se objavljuju.

Znanstvenici koji rade u akademskim ustanovama moraju ih, kako kaže, objaviti ili propasti. A časopisi u kojima ti zabrinuti znanstvenici pokušavaju objaviti svoje rezultate trebaju zaraditi, što zahtijeva i interakciju čitatelja. Rezultati koji nisu "statistički značajni" su dosadni. Nijedan čitatelj ne želi platiti za časopis prepun članaka koji kažu „napravili smo ovu studiju stvarno pažljivim metodama, a ništa se nije dogodilo, to nije uspjelo. Kraj priče. "Međutim, kada bi znanost bila potpuno transparentna, a rezultati svih eksperimenata objavljeni, upravo bi to rekla velika većina radova.

Neuspjeh negativnih rezultata istraživanja da ikada ugledaju svjetlost dana stvara zapanjujući otpad. Vjerojatno su se mnogi ponovljeni eksperimenti ponavljali iznova i iznova, s nezanimljivim rezultatima, a kasnije nikada nisu objavljeni. Zatim slijedi još jedna istraživačka skupina koja ponovno obavlja eksperiment (jer nisu znali za prethodne nulte rezultate) i, slučajno sama, pronalazi pozitivan rezultat. Naravno, taj je rezultat zanimljiv i objavljuje se. Ovaj osnovni ciklus je razlog zašto je sada poznati glasilo Johna Ioannidisa iz 2005. pod nazivom „Zašto je većina objavljenih istraživačkih nalaza pogrešna.“

Čak i za klinička ispitivanja, koja predstavljaju ogromna ulaganja u vrijeme i resurse, objavljeno je samo oko pola studija. Ovo možda nije iznenađujuće; uostalom, niti jedna farmaceutska tvrtka ne želi objaviti rezultate studije koju su financirali i koja kaže da njihov lijek ne djeluje. U stvari, iskreno prijavljivanje negativnih rezultata o jednom vlastitom proizvodu stavlja farmaceutske tvrtke u etičku zagonetku kada se uzme u obzir fiducijarna dužnost prema dioničarima. U mnogim slučajevima farmaceutske tvrtke u osnovi pišu izvještaje o „studijama“ kako bi rekli ono što žele, a zatim plaćaju akademicima da im dodaju svoja imena. Institut za medicinu nedavno je sažeo ovo pitanje ovako:

"... nedavna vijesti, pravna naselja, istraživačke studije i institucionalne najave dokumentirali su razne uznemirujuće situacije koje bi mogle narušiti povjerenje javnosti u medicinu [poput] ... akademske istraživače koji svoje ime stavljaju u rukopise, iako su se prvi put uključili nakon podaci su prikupljeni i analizirani, a nakon što su prve nacrte napisali pojedinci koje je plaćala industrija. "

Istinski pomaci u našem razumijevanju stvarnosti zasigurno su rijetki kada je toliko "nauke" koja se širi bilo statistički pomak ili izravnavanje.

Unatoč ozbiljnim izazovima s kojima se znanost suočava, znanstvena metoda još uvijek je najbolja metoda otkrivanja istina o svijetu. Ono što je možda najviše zabrinjavajuće je širenje pseudoznanstvenih „dokaza“ koji se koriste za promicanje dnevnog reda. Era lažnih vijesti u kojoj trenutno živimo postavila je anketu na pijedestal. Anketa se maskira kao znanstveni alat, ali u stvarnosti je propagandni uređaj.

Naslovi u vijestima obiluju viješću da novi "podaci" podržavaju ovaj ili onaj položaj. U mnogim su slučajevima ovi „podaci“ izvedeni iz anketa koje su u osnovi podložne svim znanstvenim pristranostima. “Istraživači” koji oblikuju pitanja na anketi imaju pristranosti kojih možda nisu ni svjesni, a pristranost odabira praktički osigurava da ispitanici neće biti reprezentativni za stanovništvo.

Ankete su posebno osjetljive na oblik statističke manipulacije poznat kao P-sjeckanje. Hakiranje ankete u osnovi je način da "istraživači" garantiraju da će naći "dokaze" koji podupiru njihovu "hipotezu". U osnovi, to ide ovako: osmislite anketu koja postavlja ista pitanja na različite načine i putem Samo šansa na kraju ćete pronaći „statistički značajan“ rezultat pomoću kojeg možete generirati naslove medija.

Znanost o prehrani očito se oslanja na podatke iz anketa, a to je osnovni razlog zašto se svaki drugi dan "dokazi" o načinu prehrane zapravo zdrave promjene. Nisu svi istraživači prehrane jednostavno pokušali unaprijediti dnevni plan, ali hrana i jelo su toliko složeni da su ankete često jedini izvediv način prikupljanja podataka. Dakle, iako nije nužno zlonamjerno, većina prehrambenih "dokaza" manje-više je samo statistički gobbledygook.

Kao po strani, gotovo sve „studije“ urađene u kontekstu socijalnih ili političkih problema s dugim tipkama i izviještene kao naslovi koji se mogu iskoristiti u medijima su anketne studije koje su vjerojatno koristile neki oblik P-hakiranja. Imajte to na umu sljedeći put kada na televiziji budete gledali kako razgovara s novim "podacima" koji podržavaju stranačku liniju.

Fotografiju Ümit Bulut na Unsplash-u

Poruka o povratku kući je da je i naša najdraža intelektualna institucija - znanost - duboko u nedostatku na mnoge iste načine kao i alati koje preziramo - propagandna istraživanja.

Živimo u vremenu kad je neovisno kritičko mišljenje bitno.

Mnogi od nas pretpostavljaju da u društvu ima puno ljudi koji objektivno razumiju stvari. Realnost je da baza ljudskog znanja stoji na daleko treskijem terenu nego što to većina ljudi shvaća.

Moramo biti spremni ploviti morem dezinformacija na brodu napravljenom od opreznosti i zdravog skepticizma. Istina je vani, ali otkrivanje je da je izmišljen posao, a zasigurno se to ne događa tako često kao što tvrde naslovi vijesti. Kad sjajni istraživač napravi proboj koji ima potencijal uzdrmati prihvaćene maksime, često se ismijava poput dr. Snow-a, dok čovječanstvo godinama prosipa u statusu quo.