Kako ne odabrati koja znanost vrijedi financirati

Možda ćemo odabrati karte samo iz šešira

Zasluga: Pixabay.com

Nedavno mi je odbijena potpora. Ništa neobično tamo. To spominjem kao mikrokozmos skandalozno lutajućeg sustava za odlučivanje što će se financirati u znanosti. I da pokažemo da postoji puno bolji sustav: bacite malo kockica.

Ušli smo u jedan od tri kruga koje svake godine održava britansko tijelo koje financira istraživanja iz biologije (BBSRC); tražili smo rutinsku svotu novca, kako bismo pokrili tri godine i dva istraživača. Odbacivanje je uvijek bio najvjerojatniji ishod. U ovom je posebnom krugu postojala neobično visoka stopa uspjeha: financirano je u potpunosti 25% prijedloga. (Da, to se smatra visokim). Tako da smo imali 75% šanse da nas ne financiraju. U redu, nismo bili financirani.

Naše povratne informacije otkrile su da smo zauzeli 30. mjesto od 94 prijedloga. Vjeverica u dugoj rečenici na vrhu povratnih informacija bio je kontekst ovog rangiranja: koliko ih se smatra potencijalno prihvatljivim i što znači naš ukupni rezultat. Dopustite mi da citiram: „vaš je prijedlog rangiran na međunarodnoj razini, a jedan od 92 od ukupno 94 koji su potencijalno bili financijski prihvatljivi.“ Ili, ako parafraziram: zajedno s mnogim drugima u istom krugu proizveli smo ono što su se financijski paneli i recenzenti složili da je međunarodno konkurentan rad, ali nismo se približili financiranju. Što je još gore, 98% svih poslanih prijedloga vrijedilo je financirati. Devedeset i osam posto.

I kako smo došli do ove ljestvice? Izbrojimo trud. Za pisanje našeg prijedloga trebalo nam je oko dva mjeseca, a na njemu su radile dvije osobe. Opet, ništa neobično za to vrijeme. Dobili smo pilot analize, testirali neke ideje za izvedivost; napisao i prepisao. Proračunao je sve potrebne stvari. Dobio sam povratne informacije o prijedlogu i ponovno je napisao. Ispunio obrasce za internu upravu za naše sveučilište. Ispunjeno u mnogim dodatnim odjeljcima, povrh naučnog dijela, koje vijeća za financiranje traže (uključujući, ali ne ograničavajući se na: sažetke za recenzente i javnost; opravdanja za svaku stavku u proračunu; sažetak očekivanog utjecaj djela; plan kako postići takav utjecaj ...). Sve za ništa.

Zašto su to lutalice? Pa, za početak, dogovorimo se s idejom da znanstvenici na sveučilištima trebaju provoditi znanstvena istraživanja: pronaći stvari. Sada, koristeći naše napore kao osnovnu procjenu, uzmimo ukupno vrijeme potrebno za ovaj, jedinični krug financiranja, vrijeme koje nije utrošeno na istraživanje.

Možda je ovo bilo malo naporno, pa budimo konzervativni i recimo u prosjeku 6 tjedana da bismo ispočetka napisali cjelovit prijedlog. Svaki prijedlog pregledava između 3 i 6 sudaca. Nazovimo to 4,5 (s isprikom sucu koji smo prepolovio). Koliko dugo pregledavati? Recimo četiri sata za ovu vrstu potpore za projekte. Zatim ploče: sastanak viših znanstvenika koji odlučuju tko će financirati, a tko ne, na temelju tih recenzija. Pravila se razlikuju između donatora u Velikoj Britaniji. Ali otprilike svaki prijedlog pročitaju najmanje dva člana panela. Sastaju se dva dana.

(Hipotekarni zahtjevi su za sličan iznos - od 150 000 do 800 000 funti tipičan je raspon za ovu vrstu trogodišnjeg grantova. Zamislite da svaki zahtjev za hipoteku mora proći kroz ovaj izvanredni postupak: nitko se nikada neće useliti u kuću . Stambeni mjehurić u Velikoj Britaniji će puknuti. Hmmmm. Čekaj tamo dok odem nazvati Halifax ...)

Dakle, ako svaki član panela daje jedan sat za svaki prijedlog, i po 2 člana za svaki, i 94 prijedloga, to je 188 sati njihovog vremena (i 2 dana da se sastanu i raspravljaju o svemu). Procjenjujući da je vrijeme korišteno prema redoslijedu, recenzenti su: 4,5 x 94 = 423 recenzenata, za pregled svih prijedloga trebalo je ukupno 423 x 4 = 1692 sata. Napokon, zanemarivši sve to, vrijeme istraživača da predloži sve ove prijedloge na pregled je 94 x 6 = 564 tjedna. Upravo za ovaj specifični krug financiranja. Što se događa tri puta godišnje.

Uz samo 25% mogućnosti financiranja, potrebno je podnijeti četiri prijedloga za postizanje jednog uspjeha (u prosjeku). A s obzirom da vam nije dopušteno ponovno slati isti prijedlog, to znači da radite novi. Za nas je to osam mjeseci rada da postignemo jedan uspjeh. Osam mjeseci ne istražujući. Dodajte ostale neuspješne kolege iz istog kruga financiranja, a mi dobijamo: 580 mjeseci da bi svaki od 94 od nas postigao jedan uspjeh.

Ili 46,7 godina vremena. Za jedan krug, jednog tijela za financiranje, u jednoj državi.

Većina natječaja za financiranje ima puno niže šanse za uspjeh od 25%. Neka natjecanja sa sjedištem u Velikoj Britaniji su ispod 10%. Kao što su to neki NIH-i u SAD-u. Kao i neki Nizozemci. Kao i neki iz cijele EU.

Mislili biste da bi to značilo da mnogi istraživači moraju provesti gotovo svaki slobodni trenutak svog života pišući prijave kako bi dobili sredstva, samo kako bi bili sigurni u postizanje jednog uspjeha. I bili biste u pravu.

Ovo je apsurdan način vođenja globalnog poslovanja - istraživanja koje podupire vlada - s godišnjim prometom u stotinama milijardi. Posao koje uvelike financira porezni obveznik.

Apsurdno je, jer vrijeme provedeno za pisanje prijedloga istraživanja koje treba obaviti u budućnosti oduzima više vremena nego što to istraživanje zapravo obavlja upravo sada. Ne znam za vas, ali osobno bih radije svoj porez potrošio na istraživanje, a ne na pisanje prijava.

Apsurdno je zato što sveučilišta u Velikoj Britaniji i drugi širom svijeta koriste prijavu za dodjelu grantova i dobivanje dotacija kao dokaz da ste „dobar“ istraživač. Ipak, šanse za financiranje su male, čak i za najbolje svjetske znanstvenike.

To je apsurdno jer su ljudi strašno nedosljedni u ocjeni kvalitete. Ako grupi stručnjaka date skup prijedloga, oni će ih rangirati određenim redoslijedom. Dajte drugoj skupini stručnjaka iste prijedloge i oni će ih rangirati različitim redoslijedom.

(Evo jednog primjera: eksperiment dosljednosti NIPS-a. NIPS je glavna konferencija o strojnom učenju koja privlači 2000+ polaznika. Grozno je teško prihvatiti rad: NIP-ova je ciljna stopa za oko 20% prijava koje se prihvaćaju. Pitate se koliko je dobro ocjenjivali su kvalitetu onoga što su prihvatili, 2014. organizatori su pokrenuli eksperiment u pregledu. Imali su 10% podnesaka (166 radova) koji su pregledala dva neovisna odbora, a zatim su usporedili popise prihvaćenih radova između dva. Nedosljednost je bila zapanjujuća: dva se odbora ne slažu oko 57% prihvaćenih radova. Drugim rečima: više od polovice papira koje je prihvatio jedan odbor nije prihvatilo drugo, i obrnuto. suština, slučajno).

Ova divlja nedosljednost znači da je naše rangiranje besmisleno. Dakle, biti 30. na jednoj listi znači da bismo mogli biti 15. na drugom (yay, novac!), A 60. na drugoj (boo, definitivno ne novac). Postizanje rangiranja svih, osim nevjerojatno sjajnih i očito nevjerovatnih prijedloga, bezbroj je sitnica. Mogu li biti detalji projekta nisu sasvim jasni. Možda se cilj smatra previše ambicioznim. Može li se oslanjati na neprovjerenu ideju (kao što se često primjećuje, to ima tendenciju guranja znanosti prema konzervativnim putovima). Može li se koristiti trenutno moderna tehnologija. Možda se član panela jednostavno ne sviđa vama.

Ipak, baš kao što je i moje iskustvo (opet) potvrđeno, i kao što statistike prikupljene u britanskim tijelima za financiranje istraživanja pokazuju iznova i iznova, velika je većina prijedloga neisplativa, opterećena potencijalima da dovedu do zanimljive znanosti, korisnih uvida, dušo koraci na putu prema novim tretmanima i lijekovima. Da je novca, mogli bismo financirati toliko divnih ideja. Ali mi ne možemo.

Umjesto toga, gubimo skandalozne količine vremena znanstvenika tražeći novac da bi se bavili znanošću.

Novac za koji znaju da neće dobiti, ali svejedno ga trebaju tražiti da ne dobiju otkaz.

Znanstvenici kreativnije pristupaju financiranju svojih istraživanja. Zasluga: Pixabay

Što je rješenje? Ako smo loši u dosljedno rangiranju kvalitete, rangiranje je uglavnom proizvoljno, a praktički je sve moguće sjajno?

Trebamo odabrati što ćemo nasumično financirati.

Nedavni uvodnik mBio-a uvelike je došao do istog zaključka. Kao što je i uvodnik istaknuo, to znači dvije praktične stvari. Prvo, potreban nam je stručni pregled samo da bismo uklonili sranje i ludilo. Drugo, jer nam ne trebaju toliko proizvoljni detalji na kojima ćemo podijeliti dlake na sastanku panela, možemo drastično pojednostaviti ono što se mora pretvoriti u prijedlog za financiranje. Trebamo napisati samo ono što je naš znanstveni cilj, koji su planovi da stignemo tamo i otprilike kako bismo podijelili novac.

Vraćamo vrijeme za nauku. Ne trebamo potrošiti dva mjeseca napora, na prijedlog od preko 10.000 riječi da bismo napravili izbor. Ne moramo trošiti više desetljeća istraživanja, samo kako bismo dobili trogodišnju potporu za 100 laboratorija.

Ne trebaju nam detaljni pregledi svakog sitnog aspekta prijedloga; samo trebamo znati: je li ta nauka iz daljine izvodljiva? I jesu li predlagači imali pojma?

Postoji još jedan razlog: slučajnost održava znanost zdravom. Financirale bi se nove ideje i projekti koji bi pružali varijacije u pristupima i uvidima. To bi značilo da nema mjehurića, nema stada, ne juri za najnovijim sjajnim grickalicama.

(I napomena: ovo ne znači uklanjanje dugoročnog financiranja. Bespovratna sredstva o kojima govorim prosuđuju se o budućem potencijalu. A budući potencijal je tako teško predvidjeti zašto se gnjaviti? Ali dugoročno financiranje obično je mnogo veće prosuđivati ​​na temelju evidencije: financirati ili ponovno financirati centar ili institut na temelju učinka ljudi koji rade u njemu; dodijeliti ili produžiti nagradu za zajedništvo ili istražitelja na temelju učinka dotične osobe.)

Ne rizikuje li to sve financiranje sretnika nekolicine? Da će neki laboratorij slučajno biti izvučen iz šešira više puta i prikupila bogatstvo? Ne: jednostavno ograničimo broj bespovratnih sredstava i širimo bogatstvo. Dok pišem, iz NIH-a su najavili da planiraju uvesti samo ovu kapicu. Planiraju koristiti bodovni sustav kako bi spriječili nekoliko laboratorija da ostave sav novac; planiraju pokušati razbiti efekt Matthewa, zaustavivši nejednakost bogatih, bogatih, siromašnih, siromašnih koji prožimaju znanost koliko i društvo u cjelini. I sada, čak i kad je financijski fond NIH-a prepoznao način na koji se financira znanost, zašto ne biste napravili jedan mali korak dalje i odustali od proizvoljnih rangiranja?

Jer rangiranje nije važno. Ili dobivam nepovratna sredstva ili ne. To što smo bili jedno ili stotinu mjesta ispod granice, nema nikakve razlike. Kako je financiranje bespovratnih sredstava već lutrija, zašto ga ne bismo iskoristili?

Tada znanstvenici mogu raditi znanost za koju su plaćeni.

Twitter: @markdhumphries