Od vrhunca do jame

Uz isprike Duhu.

Dakle, dogodilo se.

Kratka priča: Brian Wansink je profesor na Cornellu. Njegov je rad pod nadzorom zbog netačnosti. Dao sam mali osobni doprinos toj kontroli. Drugi su napravili mnogo više. Otkrivene nedosljednosti uključuju sredstva i standardna odstupanja koja ne mogu postojati, distribuciju podataka koja ne može postojati (ili postoji samo u smiješnim uvjetima), neobično ponovljene veličine uzorka, samoplagijarizam, statističke anomalije, jarebica, kruška itd.

Ako vas ne zanimaju metaznake ili forenzička statistika ili me ne pratite na Twitteru, možda niste čuli ništa o tome.

Jer ako vas nije briga, velika je dosadna. A postoje brojevi. Toliko brojeva.

Ono što do sada nismo znali je kako se pravi kobasica. Odakle dolaze te nedosljednosti? Što oni predstavljaju? Ne trošim previše vremena na takva pitanja, jer - kao što sam već rekao - nemam ni nalog za pretres ni kristalnu kuglu.

Ovom vrtoglavom hrpu netočnosti i zbrke ovaj članak može dodati neki uvid u istraživački proces, a ne samo rezultate istraživanja koje smo već riješili.

Uglavnom, sada možemo vidjeti unutar tvornice kobasica, a lijepa je kao Boscheva slika perforiranog debelog crijeva. Znali smo da su kobasice loše, ali sada možemo reći i zašto. To je zato što se u mesu nalaze stare konje i gume za bicikle i Bangkok ljetnih smeća.

O ovome će se reći mnogo, pa ću ovdje iznijeti tri točke do kojih se drugi možda neće zaobići.

(1) Poštedite me dobronamjernog svakodnevnog Goofa

Jedan citat iz ovog članka koji neće privući istu pažnju kao ostali (poput "mučenja podataka", na primjer ..., to je citat koji će se probiti nekoliko kilometara od njega) je diplomiranog studenta koji je proveo vrijeme u Wansinkovom laboratoriju.

Ovo je zrelo i suosjećajno mišljenje, ali nagovještava nešto što mi gricka zube - da je sav ovaj istraživački nemir tužan rezultat nekakve ikarske potrage da bude od pomoći. "Samo pokušavam pomoći, šefe, iskreno. Žao mi je zbog zastrašujuće litanije nadmetanja. Dajem sve od sebe da pomognem ljudima. "

Cool. Siguran sam da ste svetac. Činjenica i dalje ostaje kad vršite strašna istraživanja s najboljom voljom na svijetu i dalje ste velik dio problema. Na mnoge ste načine opasniji od potpunog kopile koji bi mogao izokrenuti istraživački postupak na izravnije i manje poštene načine.

Zašto? Zašto je takav problem "pomoći" ovako?

To je sebično. Vi dajete prednost vlastitim mišljenjima nad mišljenjima kontroliranih opažanja. Kažete da ste pametniji od podataka. I, uz to, bolje smješten za diktiranje stvarnosti od ostalih ljudi koji donose vlastite podatke koji se pažljivo analiziraju putem istraživačkog plana koji se ne „tuku dok ne provali krvave panjeve“. Doslovno kažeš da "nije važno što nalazimo, znam što ljudima treba".

Također je sebično jer objavljivanje puno groznih istraživanja obično je nedvosmisleno dobro za vašu karijeru i nedvojbeno loše za znanost.

Monumentalno je kratkovidan. Ovdje ne mogu u potpunosti ocrtati, bez spuštanja u ludilo, koliko dobrih ideja podložnih pažljivo provedenim eksperimentima nije uspjelo u prehrani, znanosti o hrani, dijeti itd. Ako mislite da ste pametniji od podataka, zanemarite dvadeset- sedam koraka naprijed, dvadeset i šest koraka natrag, što je frustrirajuća priroda ALMOST SVEGA bihevioralnog istraživanja. Ako mislite da se klizava priroda svih ostalih istraživanja jednostavno ne odnosi na vas, eto, vi ste veliki magarac.

Omogućuje vrlo ciničan bijeg. Ako ste revni na strani pravednika ("Podržavam djecu koja jedu povrće! Podržavam šetnje parkom!"), Ljudi će vjerojatno biti blaži kad vam dođe do promjene faza u ekstenzalnom / ventilacijskom kontinuumu (* ) a vaše istraživanje pod nadzorom je.

Sastavljeno svjesno, ovo je začuđujuće cinično pozicioniranje. Znanstvenici se spuštaju poput uragana kategorije 5 puni noževa po kuhanim istraživanjima od lunatika protiv cijepljenja i gonji fosilnih goriva. Isto nikada neće biti točno ako napišete članak pod nazivom „Zagrljaji, svježe voće ili zagrljaji i svježe voće? Poboljšanje života djece jer je lijepo "ili" Četiri plana umetanja povrća u siromašne ". Najbolje namjere su čudesni krevet za cvijeće koje je raslo posvemašnje nesposobnosti za pucanje sinapse, i zgodan bijeg u ručno stiskanje kad cvjetovi vrište i pretvore se u nekrotičnu prašinu.

(2) Narativi. Narativi svuda.

Toliko puta u ovoj priči vidimo ulogu pripovijesti. Gdje je dobra priča? Što se prodaje? U čemu će ljudi uživati? Što će ovu priču učiniti jasnijom?

Zaobilazimo to pitanje - kakvu bi ulogu dobra komunikacija trebala odigrati u komunikaciji znanosti? Je li potrebno? Možemo li ga odvesti predaleko?

Moj odgovor na ovo je općenito: obično nemamo dovoljno materijala za priču. Dobri istraživački programi postavljaju povezana, usredotočena pitanja sve dok se na kraju ne pojave informacije koje možete narativizirati. Ovih dana, međutim, svaki je skup podataka svoju čudesnu priču. I, u situacijama poput sadašnjih, moglo bi se stvoriti dobra stara priča s prethodnom primjenom nekoliko stotina strateški smještenih udaraca u dupe.

Ako želite pričati priče, u redu. Kupite Moleskine i neugodan šešir, sjednite u kafić zamišljeno, pišite večeri, uživajte jesti Top Ramen i slijedite J.K. Rowling na Twitteru. Tisuću tisuća mjesta u svijetu postoje za pripovjedače. Pronađite jedan od njih i odložite regresijske modele s okusom cimeta s više razina.

(3) Nisi uspio sisati ... I to je zastrašujuće

Ako napravim znanstvenu studiju koja bilježi 20 varijabli, a zatim izvijestim samo o tri koje su 'djelovale', itko je teško ikad saznati.

Nitko ne revidira moj početni rad, nitko ne provjerava. Općenito nitko neće vidjeti čitav moj i neograničen skup podataka. Ako se nalazim između istraživačkih skupina, bavim se vlastitim prikupljanjem podataka i tako dalje, puno bolje.

Oh, i ako me ponekad pitaju je li moje izvješće o studiji točno, uvijek mogu samo reći da. Nema tereta dokazivanja, niti bilo čega sličnog. Mogu jednostavno ustvrditi.

Ako se izazove, mogu jednostavno proizvesti podatke za tri varijable koje nas zanimaju. 17 varijabli koje nisam izvijestio uklonjeni su u leđa i pucani.

Ono što je izvanredno u ovom slučaju je (A) novinar imao prisutnost uma i upornosti da pribavi stvarne dokaze o lošim laboratorijskim praksama, što je nešto što nikad ne bih mogao učiniti, a što može biti bez presedana, i (B) dokaz strašnih netočnosti u prijavljeni podaci prije toga.

U osnovi, dok su iskoristili sve čudesne „kreativne“ načine prikupljanja istraživanja kako bi izgledali dobro, ovi su ljudi učinili tako loš posao da ga je netko primijetio. Ovi radovi doslovno nisu uspjeli kod loše istraživačke prakse. Sjećate se kvantnog krumpira, gdje je istovremeno za grupni par prijavljeno da ima 23, 25 ili 26 članova? Kakvu automobil klaun vozite kad ne možete dodati?

Spremni ste za zastrašujući dio?

Što to znači o ljudima koji mogu dodati?

Koliko istraživačkih skupina radi nešto slično, ali točno izvještava podatke koje su pripremili kako bi napravio dobru priču?

Znamo li kako ih pronaći? Može li ih crna zastava pronaći?

Odgovor je ne, ne možemo. Nepošteno izvješće koje je točno izvješteno je lebdeća masa leda ispod ovog vidljivog vrha. Ne možemo ga vidjeti, samo možemo samo zaključiti da je tamo. Način da se to popravi je promjena u akademskom okruženju i u praksi objavljivanja, a ne izlazak van i kombiniranje više objavljenih radova za guske i sitnice.

Rekao sam prije samo nekoliko dana da je cijela ova žalosna beskrajna saga o istraživačkoj jami, ovaj Silmarillion divljaka, još uvijek neshvatljivo održao sposobnost da me iznenadi.

I evo nas opet, i iznenađen sam.

(*) Kad sranje pogodi ventilator. Kasno je. Prepustite mi se.