Vaš Cortex sadrži 17 milijardi računala

Neuronske mreže neuronskih mreža

Zasluga: brentsview pod CC BY-NC 2.0

Mozak prima ulaz iz vanjskog svijeta, njihovi neuroni čine nešto na tom ulazu i stvaraju izlaz. Taj ishod može biti misao (želim curry za večeru); može biti akcija (napraviti curry); to može biti promjena raspoloženja (yay curry!). Bez obzira na izlaz, to je "nešto" transformacija nekog oblika unosa (izbornika) u izlaz ("pileći dansak, molim te"). A ako mozak mislimo kao uređaj koji transformira ulaze u izlaze tada, neumoljivo, računalo postaje naša analogija izbora.

Za neke je ta analogija samo koristan retorički uređaj; za druge je to ozbiljna ideja. Ali mozak nije računalo. Svaki neuron je računalo. Vaš korteks sadrži 17 milijardi računala.

U redu, što? Pogledaj ovo:

Piramidalna ćelija - usitnjena u dvije dimenzije. Crna mrlja u sredini je tijelo neurona; ostatak žica su njeni dendriti. Zasluge: Alain Dexteshe / http://cns.iaf.cnrs-gif.fr/alain_geometries.html

Ovo je slika piramidalne ćelije, neurona koji čini većinu vašeg korteksa. Prsa u središtu je tijelo neurona; žice koje se protežu i granaju iznad i ispod su dendriti, upleteni kablovi koji skupljaju ulaze drugih neurona blizu i daleko. Ti unosi padaju preko dendrita, neki tik do tijela, neki na vrhove. Tamo gdje spadaju su stvari.

Ali ne biste mislili. Kada govorimo o djelovanju neurona, obično završimo sa idejom sumiranja-ulaza-i-pljuvanje-izbacivanje šiljaka. U ovoj ideji dendriti su samo uređaj za prikupljanje ulaza. Aktiviranje svakog ulaza samostalno donosi malu promjenu u neuronovom naponu. Sumirajte dovoljno tih malih promjena iz svih dendrita, a neuron će ispljunuti bodljiku iz tijela, niz svoj akon, da bi mogao biti ulaz u druge neurone.

Model sabiranja i izbacivanja šiljka neurona. Ako istovremeno dođe dovoljno ulaza - dovoljno da pređe neki prag (sivi krug) - neuron ispljune šiljak.

To je zgodan mentalni model za razmišljanje o neuronima. Čini osnovu za sve umjetne neuronske mreže. Pogrešno je.

Ti dendriti nisu samo komadići žice: oni također imaju vlastiti aparat za izradu šiljaka. Ako se aktivira dovoljno ulaza u istom malom dendritu, tada će zbroj tih ulaza biti veći od zbroja svakog ulaza koji djeluje sam:

Dvije obojene mrlje predstavljaju dva ulaza u jedan bit dendrita. Kad se sami aktiviraju, svaki kreiraju prikazane odgovore, gdje siva strelica označava aktiviranje tog ulaza (ovdje odgovor znači „promjena napona“). Kada se aktiviraju zajedno, odgovor je veći (puna linija) od zbroja njihovih pojedinačnih odgovora (isprekidana linija).

Odnos između broja aktivnih ulaza i veličine odgovora u malo dendritu izgleda ovako:

Veličina odgovora u jednoj grani dendrita na sve veći broj aktivnih ulaza. Lokalni

Tu je lokalni skok: nagli skok s gotovo nikakvog odgovora na nekoliko ulaza, do velikog odgovora sa samo jednim ulazom. Malo dendrita je "supralinearno": unutar dendrita, 2 + 2 = 6.

O ovim lokalnim šiljcima u bitovima dendrita znamo već mnogo godina. Vidjeli smo ove lokalne šiljke u neuronima unutar kriški mozga. Vidjeli smo ih u mozgu životinja s anestezijom koji im škakljaju šape (da, nesvjesni mozak i dalje osjeća stvari; oni se ne trude nikome reći). Nedavno smo ih vidjeli u dendritima neurona kod životinja koje su se kretale (da, Moore i prijatelji zabilježili su aktivnost u nekoj nekoliko mikrometra preko mozga miša koji se kretao; ludo, ha?). Dendriti piramidalnog neurona mogu stvoriti "bodlje".

Dakle, oni postoje: ali zašto ovaj lokalni šiljak mijenja način na koji razmišljamo o mozgu kao računalu? Jer dendriti piramidalnog neurona sadrže mnogo zasebnih grana. A svaki se može zbrojiti-pljunuti-izbiti. Što znači da svaka grana dendrita djeluje kao mali nelinearni izlazni uređaj, zbrajajući i ispisujući lokalni spike ako ta grana dobije dovoljno ulaza otprilike u isto vrijeme:

Već viđeno. Jedna dendritična grana djeluje kao mali uređaj za zbrajanje ulaza i davanje izlaza ako je istovremeno bilo dovoljno ulaza. A transformacija od ulaza do izlaza (sivi krug) samo je graf koji smo već vidjeli, a koji daje veličinu odgovora od broja ulaza.

Čekati. Nije li to bio naš model neurona? Da bilo je. Ako zamijenimo svaku granu dendrita s jednim od naših malih "neuronskih" uređaja, tada piramidalni neuron izgleda ovako:

Lijevo: Jedan neuron ima mnogo dendritičnih grana (iznad i ispod tijela). Točno: to je skup uređaja nelinearnog zbrajanja (žuti okviri i nelinearni izlazi) koji svi izlaze u tijelo neurona (siva kutija), gdje se zbrajaju. Izgleda poznato?

Da, svaki je piramidalni neuron dvoslojna neuronska mreža. Sve samo po sebi.

Lijepo djelo Poirazija i Mela 2003. godine to je eksplicitno pokazalo. Izgradili su složeni računalni model jednog neurona, simulirajući svako malo dendrita, lokalne šiljke unutar njih i kako se približavaju tijelu. Zatim su izravno uspoređivali izlaz neurona s izlazom dvoslojne neuronske mreže: i bili su isti.

Izvanredna implikacija ovih lokalnih uboda je ta što je svaki neuron računalo. Sam po sebi, neuron može izračunati ogroman raspon takozvanih nelinearnih funkcija. Funkcije koje neuroni koji samo zbroje-i-pljune-skok ne mogu nikada izračunati. Na primjer, s četiri ulaza (plava, morska, žuta i sunce) i dvije grane koje djeluju kao mali nelinearni uređaji, možemo postaviti piramidalni neuron za izračunavanje funkcije „vezanja obilježja“: možemo ga tražiti da odgovori na Plavo i more zajedno ili reagirajte na Žuto i Sunce zajedno, ali da ne odgovorite drugačije - čak ni na Plavo i Sunce zajedno ili Žuto i more zajedno. Naravno, neuroni primaju mnogo više od četiri ulaza i imaju više od dvije grane: tako da je raspon logičkih funkcija koje bi mogli izračunati astronomski.

U novije vrijeme, Romain Caze i prijatelji (ja sam jedan od tih prijatelja) pokazali su da jedan neuron može izračunati nevjerojatan raspon funkcija, čak i ako ne može stvoriti lokalni, dendritički skok. Jer dendriti prirodno nisu linearni: u svom normalnom stanju oni zbroje unose ukupno manje od pojedinačnih vrijednosti. Oni su sublinearni. Za njih 2 + 2 = 3,5. A mnogo dendritičnih grana s sublinearnim zbrajanjem također omogućuje neuronu da djeluje kao dvoslojna neuronska mreža. Dvoslojna neuronska mreža koja može izračunati različit skup nelinearnih funkcija onima koje su izračunali neuroni s supralinearnim dendritima. Prilično svaki neuron u mozgu ima dendrite. Tako da bi gotovo svi neuroni u principu mogli biti dvoslojna neuronska mreža.

Druga nevjerojatna implikacija lokalnog trzaja je da neuroni znaju mnogo više o svijetu nego što nam govore - ili o drugim neuronima, po tom pitanju.

Nedavno sam postavio jednostavno pitanje: Kako se podaci o mozgu dijele? Kada pogledamo ožičenje između neurona u mozgu, možemo pratiti put od bilo kojeg neurona do bilo kojeg drugog. Kako se onda informacije očito dostupne u jednom dijelu mozga (recimo, miris curryja) ne pojavljuju u svim ostalim dijelovima mozga (poput vizualnog korteksa)?

Na to postoje dva suprotna odgovora. Prvo je, u nekim slučajevima, mozak nije odjeljen: informacije se pojavljuju na čudnim mjestima, poput zvuka u mozgovnim regijama koje se bave mjestima. Ali drugi je odgovor: mozak se dijeli na dendrite.

Kao što smo upravo vidjeli, lokalni bodlji je nelinearni događaj: veći je od zbroja njegovih inputa. I neuronovo tijelo u osnovi ne može otkriti ništa što nije lokalni šiljak. Što znači da ignorira većinu svojih pojedinačnih ulaza: bit koji izbacuje šiljak ostatku mozga izoliran je od većine informacija koje neuron prima. Neuro reagira samo kad je puno ulaza aktivno zajedno u vremenu i prostoru (na isti dio dendrita).

Ako je to istina, trebali bismo vidjeti da dendriti odgovaraju na stvari na koje neuron ne reagira. Točno vidimo. U vizualnom korteksu znamo da mnogi neuroni reagiraju samo na stvari u svijetu koje se kreću pod određenim kutom (kao i većina, ali nimalo svi oni nemaju preferiranu orijentaciju). Neki neuroni ispaljuju svoje bodlje na stvari na 60 stupnjeva; neki na 90 stupnjeva; neki na 120 stupnjeva. Ali kad zabilježimo na što reagiraju njihovi dendriti, vidimo odgovore iz svakog ugla. Dendriti znaju poprilično više o tome kako su predmeti na svijetu uređeni nego što to čini neuronovo tijelo.

Oni također gledaju pakao puno više svijeta. Neuroni u vizualnom korteksu reagiraju samo na stvari na određenom položaju u svijetu - jedan neuron može reagirati na stvari u gornjem lijevom dijelu vašeg vida; druga stvar u donjem desnom kutu. Nedavno su Sonia Hofer i njezin tim pokazali da, iako se ubodi neurona događaju samo kao odgovor na predmete koji se pojavljuju u jednom određenom položaju, njihovi dendriti odgovaraju na različite položaje u svijetu, često daleko od očiglednog željenog položaja neurona. Tako neuroni reagiraju samo na mali dio informacija koje dobivaju, a ostatak je uguran u svoje dendrite.

Zašto je sve to važno? To znači da bi svaki neuron mogao radikalno promijeniti svoju funkciju, promjenom na samo nekoliko svojih ulaza. Nekolicina postaje slabija i odjednom čitava grana dendrita prestane tiho: neuron koji je prethodno rado viđao mačke, jer je ta grana voljela mačke, više ne reagira kad vaša mačka prelazi preko vaše krvave tipkovnice dok radite - a vi ste kao rezultat, puno smirenija i zbližanija osoba. Nekoliko ulazaka postaje sve jače i odjednom čitava grana počinje reagirati: neuron koji se ranije nije brinuo za okus maslina, sada radosno reagira na zalogaj zrele zelene masline - po mom iskustvu, ovaj neuron dolazi na mrežu tek u vašim ranim dvadesetima , Ako bi se svi unosi zbrojili zajedno, izmjena neuronske funkcije značila bi da se novi ulazi uporno bore protiv svakog drugog unosa za pažnju; ali svaki dio dendrita djeluje neovisno, a nova računanja postaju dodatak.

To znači da mozak može učiniti mnogo proračuna osim tretiranja svakog neurona kao stroja za zbrajanje inputa i pljuvanje šiljka. Ipak to je osnova za sve jedinice koje čine umjetnu neurološku mrežu. To sugerira da su duboko učenje i njegova AI braća, ali uvidjeli u računsku snagu stvarnog mozga.

Vaš korteks sadrži 17 milijardi neurona. Da bismo razumjeli što rade, često radimo analogije s računalima. Neki koriste ove analogije kao kamen temeljaca svojih argumenata. Neki ih smatraju duboko pogrešnim. Naše analogije često izgledaju na umjetnim neuronskim mrežama: za računanje neuronskih mreža čine ih neuronske stvari; i tako bi, dakle, trebalo računati mozak. Ali ako mislimo da je mozak računalo, jer je poput neuronske mreže, sada moramo priznati da su i pojedini neuroni računala. Svih 17 milijardi u vašem korteksu; možda svih 86 milijardi u tvom mozgu.

To znači da vaš korteks nije neuronska mreža. Vaš korteks je neuronska mreža neuronskih mreža.

Zahvaljujem Romain Cazeu na prijedlozima

Želite više? Pratite nas na adresi The Spike

Twitter: @markdhumphries