Istraživanje hrane Donalda Trumpa

Zašto ovo radim? Zar nemam što bolje da radim?

Čitava stvar je prožeta ironijom.

Ne tako davno bio sam student doktoranda koji je sjedio u sobi punoj nesavjesnih profesora s pompoznim, suvišnim naslovima koji su okončali moju akademsku karijeru, a sada se ovdje vraćam usluzi.

Ako nas je naša trenutna politička klima išta naučila, to biste trebali imati, ako imate sposobnost i platformu da govorite.

Kad sam bio student nisam mogao učiniti ništa o užasnoj znanosti oko mene ili o maltretiranju polaznika. Ali sada mogu.

Ne odlazim u potrazi za lošom znanošću, ali ako me pronađe treba li to ignorirati i nadam se da će se netko drugi time baviti?

Ljudi govore o samo-ispravljajućoj prirodi znanosti kao da je to neka vrsta prirodnog zakona.

Ne, znanost ispravlja jer znanstvenici to ispravljaju.

Jeste li ikad razmišljali o tome kako najmanje odluke mogu utjecati na vaš život?

U ovom je slučaju poznati istraživač napisao ono što je smatrao nevinim blogovskim postom pružajući savjete o tome kako biti uspješan u akademiji.

Post je prošao neopaženo mjesec dana dok ga jedan od kolega nije pronašao i poslao mu e-poštom.

Post je zatim podijeljen na Twitteru i primijetio sam ga.

Potom sam ručao s prijateljem i ispričao mu ovaj ludi post koji sam upravo pročitao. Pitao sam jesam li pregledao papire ispitivanjem granularnosti. Nisam.

Čim sam se vratio kući pogledao sam novine i poslao ovaj tvit:

Ostalo je povijest.

Zajedno s Timom van der Zeeom i Nickom Brownom napisao sam pretisak u kojem je bilo detaljnije preko 150 nedosljednosti u dokumentima spomenutim u postu na blogu.

Preprint je preuzet 3000 puta i ima Altmetric od 160.

Inspirirala je četiri postovanja uglednog statističara Andrewa Gelmana.

Priču su pokupili Retraction Watch i Slate.

Istraživač tvrdi da će ispravke radova biti izdane.

Misija izvršena?

Ne poznajem Briana Wansinka i bio je nepoznat njegovim radovima dok nisam vidio njegov post na blogu. Nemam interesa za prehrambenu psihologiju, niti za psihologiju uopće.

Ali mene zanima kako akademija odabire lošu znanost, nije lidba vanjskih propisa koji bi mogli spriječiti krizu poput stambenog balona i kako njegova struktura moći omogućava starijim članovima da se ponašaju poput diktatora.

Brajanov blog blog nekako je uspio dotaknuti sve ove teme. Ne znam kako Brian vodi svoj laboratorij, niti koliko je pažljivo svoj posao, jedino što znam je ono što mogu vidjeti.

A ono što vidim prije, samo izbliza. I drugi su je vidjeli, vidjeli ili će je vidjeti. Znanost u akademiji nije stvar u obavljanju znanosti, već o vašoj marki.

Cornell Food and Brand Lab nije se mogao više primjereno imenovati.

Zapravo je cijela ova priča previše dobra da bi bila istinita.

Nalazimo se usred krize ponovne reproduktivnosti u znanosti, a Brian piše post ne samo da priznaje upitne istraživačke prakse, već ih predstavlja kao idealan način za obavljanje znanosti i hvalisanje koliko publikacija su dovele.

Toliko nevjerojatno da je prvi komentar na blogu pitao je li to satira. Ovo nije prvi put da je netko pomislio da je Brianovo djelo satira. Njegov je rad svojedobno pogrešno shvatio kao šala iz travnja.

Međutim, znao sam da to nije satira, jer kao što rekoh, to sam već vidio. Zapravo sam odmah otišao arhivirati stranicu u slučaju da se skine, ali netko me je pretukao:

Ako biste trebali ući u laboratorij i stvoriti nekoga tko je savršeno utjelovio sve probleme sa kojima se znanost trenutno suočava, ne biste mogli bolje od Briana Wansinka. Kao da domaćini talk showa nisu mogli sanjati boljeg predsjedničkog kandidata od Donalda Trumpa.

Zapravo, paralele s Trumpom su upečatljive.

Kao što Trump ima najbolje riječi i ogromne ideje, Wansink ima "cool podatke" koji su "strahovito vlasnički".

Trumpova inauguracija bila je najgledanija u povijesti, a Wansink ne pkiči, on izvodi "duboke ronjenje podataka".

Na Trumpovu politiku mogu utjecati financijski interesi. Wansink je učinio posao za McDonald's, a evo ga na Twitteru:

Trump ne dopušta da mu činjenice ili podaci zaobiđu put, niti Wansink. Kad plan A ne uspije, on samo prelazi na plan B, plan C ... plan? A kad se otkrije da njegovi radovi sadrže na desetke pogrešaka, on ne misli da će "razine značaja uopće biti drugačije" nakon što budu fiksirane.

Trump je jednom imao citat koji je pokazao da točno zna što radi kad je davao lude izjave. Možda je Wansink otkrio nešto kad je napisao:

Izgled znanstvenosti može povećati uvjerljivost.

Brian Wansink poznat je kao "Sherlock Holmes od hrane". Sviđa mi se BBC show, pa se zbog toga uvrijedim. Svugdje gdje stojim čini mi se da bi "Donald Trump of food" bio prikladnije sredstvo. I hej, trebao mi je naslov za ovaj post.

Ovaj se post ne odnosi na Briana Wansinka - pa, tehnički je to - riječ je o onome što on predstavlja, ili barem čini se da to predstavlja. On nije jedini istraživač koji me podsjeća na Trumpa i nadam se da ovaj post pomaže drugima da prepoznaju probleme oko njih ili da ohrabruje druge da se izjašnjavaju.

Reći ću jedno, za razliku od Trumpa i drugih istraživača koje poznajem, Wansink je bio srdačan u svojim raspravama, a koliko mogu reći, čini se da je dobar momak. Nadamo se da je naučio iz ovog iskustva i da koristi svoj utjecaj za širenje manifesta o znanosti koja se može obnoviti.

Kako sada stoje, objavljuju se pogrešni radovi, dobivaju financijska sredstva. Ne postoji poticaj za razmjenu podataka ili obavljanje pažljivih znanosti. Jedino što je važno jeste vaša marka i vaša sposobnost da iskoristite taj brend u publikacijama i potporama, koje se okreću natrag da bi se hranila. Ako to znači vršiti neslavno istraživanje, pretjerivati ​​rezultate, a zatim odbijati priznati bilo kakve pogreške, neka bude tako.

Ali tako se ne treba baviti znanošću.

Brian Wansink priznao je da je uzeo studiju koja je dala "nulte rezultate" i istražio podatke dok iz nje nisu izvukla četiri rada. Radovi su objavljeni u opskurnim časopisima, prekriveni samocitatima, ali prividno se nisu citirali.

Kada su čitatelji njegovog bloga izrazili zabrinutost zbog opisane upitne istraživačke prakse i radnog okruženja, Wansink se složio s komentatorima i objavio dodatak. Unatoč priznavanju brige čitatelja, nekako je izveo dovoljno mentalne gimnastike da se uvjeri da problemi za koje se složio da postoje ne odnose se na njega.

Zamišljam kako je mislio da je u tom trenutku prošla oluja, ali nije planirao da netko poput mene dođe zajedno.

Nakon što smo moji suradnici i ja otkrili neviđene razine nedosljednosti u njegovim radovima, poslali smo e-poštu dvama odgovarajućim autorima kako bismo vidjeli možemo li dobiti pristup podacima. Nismo dobili nikakav odgovor.

Kad dobijem pitanja o svom istraživanju, odmah odgovaram, što bi trebala biti norma.

Zatim smo direktno poslali e-poštu Cornell Lab Food and Brand Lab i konačno dobili odgovor koji je objasnio zbog IRB-a da ćemo morati dobiti odobrenje za pregled podataka (mislim da su pretpostavili da će ova suradnja dovesti do pete ili šeste publikacije s ovim skup podataka). Umm, nisam siguran zašto se podaci ne mogu anonimizirati, ali svejedno, bili smo spremni proći postupak odobrenja IRB-a. Međutim, kad smo odgovorili da smo utvrdili neke probleme sa njihovim dokumentima i da smo se nadali da ćemo vidjeti što se dogodilo, nismo dobili nikakav odgovor. Nakon što smo objavili svoj pretisak, poslali smo im ljubazni e-mail kako bismo ih obavijestili o tome. Opet, nema odgovora.

Pretisak je preuzet 2.000 puta u prvom danu, a istraživači su objavili Wansinkov blog, PubPeer i pokušali ga uključiti na Twitter.

Ništa.

Wansink je nastavio tweetati i pisati blogove kao da se ništa nije dogodilo.

Čitav tjedan nakon objave našeg pretiska Wansink je iznenada komentirao svoj blog i PubPeer. Rekao je da je nakon što je saznao za nedosljednosti kontaktirao sve urednike kako bi vidio može li izvršiti potrebne ispravke. To jednostavno nije točno budući da smo obavijestili njegov laboratorij da je bilo problema s radovima dva tjedna prije objavljivanja našeg pretiska, a on je postao svjestan da će prije biti objavljen.

Neki mogu tvrditi da smo, kad smo kontaktirali laboratorij, trebali bolje realizirati ono što smo pronašli ili im dostavili nacrt našeg pretiska. Međutim, pogreške su bile toliko jasne da nismo osjećali da trebamo njihov unos, a osim toga, jer smo znali da čak i ne čitaju našu e-poštu.

Moj je osjećaj da se Wansink nadao da će se situacija dogoditi, a odlučio je odgovoriti tek kad su ga kontaktirali novinari. Ako vas je netko e-poštom obavijestio o pogreškama u vašim papirima, ne bi vas zanimalo koje su to pogreške? Novinari se nisu trebali miješati da bi dobili odgovor.

A kad je konačno priznao da postoje problemi, naveo ih je kao "manje nedosljednosti". U ova četiri rada postoji preko 150 nedosljednosti i iskreno nemam pojma je li bilo koji od brojeva točan. Ako su to manji problemi, mrzio bih vidjeti kako izgledaju veliki problemi.

Možda je Andrew Gelman to najbolje artikulirao:

Dopusti mi da to kažem ovako. U jednom trenutku mora postojati neki prag na kojem čak i Brian Wansink može pomisliti da je njegov objavljeni rad možda u zabludi - pri čemu mislim na pogrešne, stvarno pogrešne, a ne na nauke, podatke koji ne pružaju dokaze za zaključke. Želim znati što je ovaj prag? Već znamo da nije dovoljno imati 15 ili 20 komentara na Wansinkov vlastiti blog koji ga gurne zbog korištenja loših metoda, te da nije dovoljno kada pažljivi vanjski istraživački tim otkrije 150 pogrešaka u radovima. Pa što bi trebalo? 50 negativnih komentara na blogu? Vanjski tim koji nađe 300 grešaka? Što je s 400? Bi li to bilo dovoljno? Da su stranci pronašli 400 pogrešaka u Wansinkovim radovima, pomislio bi da je možda pogriješio.

Kao i Gelman, radoznalo mi je to saznati, pa sam pogledao još nekoliko radova. Wansink je gledao radove s najviše citata i činilo se da ih je najlakše provjeriti na nedosljednosti preciznosti i provjeriti statističke pogreške. Moja analiza nikako nije sveobuhvatna.

Svjestan sam da je Wansink ažurirao svoj Dodatak II (treće ažuriranje svog posta na blogu), a čini se da prepoznaje probleme kako je njegov laboratorij obavio istraživanje i izrazio želju za boljim. Nadam se da je to slučaj.

Samo je teško znati što vjerovati. Nakon što se u svojim radovima suočio s litanijom grešaka, proglašava se "skupinom koja je točna do 3. decimalne točke". Teško je i čuti što govori tijekom cijelog ovog drhtanja.

Svrha izlaganja ovim daljnjim pogreškama nije povlačenje tih radova. Ne znam jesu li ti radovi zapravo pogrešni ili su nedosljednosti koje sam pronašao čak i pogreške, a umjesto toga su moje pogrešne pogreške ili nesporazumi.

Većina literature nije u redu, ovo je samo podsjetnik da trebamo biti budni. To je ujedno i vaš svakodnevni podsjetnik da je stručni pregled beskoristan i da bi svi umjesto toga trebali unaprijed pripremiti svoj rad.

Odlučujem podijeliti ovaj mali uzorak nedosljednosti u postu na blogu, jer je to najbrže sredstvo znanstvene komunikacije. Ali, kao što ćete vidjeti, već imam podatke koji su lijepo oblikovani u LaTeX-u i mogu dijeliti rezultate u formalnijem mediju ako je potrebno. Zapravo sam htio dijeliti svoje nalaze o pogrešci u pizzi što je brže moguće, ali moji suradnici su htjeli vježbati suzdržano, kontaktirati laboratorij da isprobaju podatke, pošalju službenu publikaciju itd. Itd. Itd. Ali sada kada je pretisak van okovi su isključene.

NAPRAVIMO TO!

„Uredsko slatkiše: utjecaj blizine na procijenjenu i stvarnu potrošnju“

Navodi Google znalca: 203

Dizajn ove studije bio je malo složen. Bilo je 40 tajnika, ali oni su bili podijeljeni u 4 skupine od 10, a tijekom 4 tjedna 4 grupe su se mijenjale kroz različite uvjete. Ukratko, veličina uzorka je 40, postavljena su pitanja u Likertovom stilu, tako da je ovaj rad prikladan za ispitivanje preciznosti.

Kad imate podatke prijavljene na cijele brojeve i veličine uzorka od 40, jedini mogući decimalni ulomci koji se mogu završiti su:

.X00

.X25

.X50

.X75

Kao rezultat, ako zaokružite jedine moguće brojeve na drugom decimalnom mjestu su 0, 3, 5 i 8. Ako umjesto toga izvršite zaokruživanje bankara, možete dobiti 0, 2, 5 i 8 na drugom mjestu. A ako izvršite nasumično zaokruživanje, možete dobiti 0, 2, 3, 5, 7, 8, na drugom decimalnom mjestu.

Ispod sam reproducirao tablicu 1 radi vašeg gledanja i dopustio nasumično zaokruživanje.

Čak i ako se omogući slučajno zaokruživanje, postoji veliki broj nemogućih sredstava. Ako zaokružujete računalnim programom, zaokruživanje ne bi trebalo biti slučajno, pa zar oni ne koriste računalo? (to bi puno objasnilo) Kao dodatna poslastica, postoji i nekoliko nemogućih standardnih odstupanja.

Ne znam što se dogodilo s tim pogreškama, možda su izgubili par odgovora ili možda oni ručno rade proračune.

"Ponašanje i pretilost u kineskim bifeima"

Navodi Google znalca: 58

Ova je studija prilično jednostavna. Uočili su navike obroka na raznim buffetima i kategorizirali igrače prema njihovom BMI-ju. Jedna stvar koju ljudi možda ne mogu shvatiti je kada im osigurate postotak, kao što je 71,0%, što je zapravo frakcija .710, što testiranje granularnosti čini izuzetno učinkovitim.

„Paradoks s paušalnim cijenama: suprotstavljeni učinci cijene„ Sve što možeš pojesti “na buffetu“

Navodi Google znalca: 57

Napravimo jednu zanimljivu. Ne, ne pričam o papiru, govorim o greškama;)

Ova tablica zapravo i nije tako loša, samo nekoliko pogrešnih podataka, i oni su ispravno dobili stupnjeve na ANOVA testu, a jedina pogrešna F statistika jedva je pogrešna.

Možete li vidjeti gdje će biti greška?

Ako pomnožite "Stvarni broj konzumirane pizze" s "Dolar plaćen po komadu konzumirane pice", trebali biste dobiti cijenu švedskog stola, ali ne.

Buffet s pola cijene koštao je 2,99 dolara, dok je redovni bife cijena bio 5,98 dolara.

2,95 * 1,33 = 3,92, a ne 2,99

4,09 * 1,98 = 8,10, a ne 5,98

Iz bilo kojeg razloga, ove su vrste unutarnjih nedosljednosti vrlo česte u radu ove grupe.

Dodatak 20170214:

James Lawrence u komentarima ističe da se te nedosljednosti mogu objasniti matematički. To je točno, ali s tom strategijom ako jedući konzumira vrlo malu količinu pizze, oni će dramatično iskriviti prosječnu vrijednost. Nisam siguran trebaju li se nakon nelinearne transformacije izvršiti standardni statistički testovi na podacima.

"Loše kokice u velikim kantama: Veličina porcije može utjecati na unos koliko i ukusa"

Navodi Google znalca: 335

Po riječima Andrewa Gelmana, ovo je bila "barbarska" studija. Hranili su filmaše svježim ili 14-dnevnim kokicama u dvije različite veličine posude.

Ispod je glavna tablica s papira:

Ukupni broj filmaša je 157, što bi rezultiralo da bi df trebao biti 157 - 4 = 153, a ne 154. Tu je i cijeli redak s netočnim ANOVA vrijednostima.

Više - manje, ovisno o vašem ukusu - odnosi se na to da je cijeli stupac pogrešno označen, a naljepnica stupca „Svježina“ nedostaje. Pretpostavljam da je to bila pogreška u uređivanju kopija u časopisu, ali s obzirom na to koliko je ovaj rad kratak i važnost ove tablice, pomislili biste da bi je autori uvrstili u dokaz.

"Veličice zdjelica, žlica i veličina porcije s iluzijom sladoleda"

Navodi Google znalca: 259

Ovdje imamo čuvenu studiju o sladoledu. Mislim da možete pogoditi što ćemo pronaći.

Da, naši stari prijatelji s obzirom na preciznost i netočne statistike testova.

Moglo bi se pomisliti da ako imaju 0,00 za učinak, mogu i dvostruko povećati.

Pogodi što?

Opet imamo i unutarnjih nedosljednosti!

„Prosječni sladoled po žlicu“ * „Broj (u kašičicama)“ trebao bi biti jednak „Stvarni servirani volumen“.

Pogledajmo.

Mala zdjelica, mala žlica:

2,00 * 2,22 = 4,44, a ne 4,38

Mala zdjela, velika žlica:

2,79 * 1,90 = 5,30, a ne 5,07

Velika zdjela, mala žlica:

2,04 * 2,94 = 6,00, a ne 5,81

Velika zdjela, velika žlica:

3,35 * 2,09 = 7,00, a ne 6,58

Neizvjesnost zaokruživanja ne može objasniti ove razlike.

Dodatak 20170214:

Kao što je spomenuto u dodatku, postoji metoda za rekonstrukciju tih vrijednosti.

"Kako opisna hrana imenuje pristranost osjetilnih percepcija u restoranima"

Navodi Google znalca: 198

Idemo još jedan.

Sve po starom. Ukupni broj zalogaja je 140, a ipak oni nekako prijavljuju stupnjeve kao 133 za jednostavan dva uzorka ANOVA.

Dodatak 20170209:

Primijećeno mi je da ANOVA-i u tablici 1 nisu jednostavni ANOVA-u na dva uzorka. Kao rezultat toga, nisam siguran kakve bi vrijednosti trebale biti i označio sam ih. Zanimljivo je da je u ovoj verziji članka stupnjeva 131, a ne 133, a svi podaci F-a navedeni su 5,92. Pored toga, moj kolega mi kaže da su Chi-kvadratne vrijednosti pogrešne, pa sam ih označio crvenom.

Dodatak 20170323:

Izražena je zabrinutost da su statistike u tablicama 1 i 2 izvedene iz modela i stoga nisu prikladni za ispitivanje granularnosti. Ova vrsta zabrinutosti pokrenuta je i prije, i iz mog istraživanja rada dr. Wansinka primijetio sam da on obično bilježi kada statistika proizlazi iz modela, i kao rezultat toga sam pretpostavio da su te vrijednosti aritmetičke vrijednosti.
Također se sugerira da modeli u Tablici 2 mogu sadržavati privremene varijable za različite namirnice. Iz papira nije jasno je li to slučaj, a pretisak papira nema tablicu 2. Stupnjevi u tablici 2 sugeriraju da se koristio komplicirani model, ali pretpostavljam da su stupnjevi u tablici 2 jednostavno kopirani iz tablice 1.
Kao rezultat toga, mnoge od tih prijavljenih nedosljednosti mogle bi se objasniti ako želite autorima davati prednost nedoumici. Međutim, s obzirom na to da je Wansink pod istragom nekoliko desetaka radova, to mi je teško učiniti. Ako se pokaže da su moje pretpostavke za ovaj rad bile pogrešne, izvinjavam se.

Kôd za provjeru statistika ispitivanja dostupan je na mom GitHub-u, a testiranje granularnosti može se provesti na PrePubMedu.

Da budem fer prema Wansinku, povremeno nailazim na papir koji se čini preciznim prema „trećoj decimalnoj točki“. Kažem "čini se", jer bez pristupa skupovima podataka nemoguće je sa sigurnošću reći.

Zamolio bih neke od tih skupova podataka da isprobam što se dogodilo, ali mogu samo pretpostaviti da su i oni „strahovito vlasnički“.

Nedavno je Susan Fiske napisala:

Psihologija nije u krizi, suprotno popularnoj glasini.

Možda pogreške objavljene u ovom postu na blogu nisu dovoljne da se predomisli. Ali to su bili samo djelići pogrešaka u radu jednog istraživača.

To bih mogao raditi cijeli dan, samo mi daj razlog. Pokazat ću ti krizu.