Ograničenja dubokog učenja u AI istraživanju

Umjetna inteligencija postigla je nevjerojatne podvige zahvaljujući dubokom učenju, međutim, još uvijek nedostaje ljudskih mogućnosti.

12. veljače 2019., Roberto Iriondo - posljednji put ažurirano: 7. travnja 2019. godine

Izvor slike: Memoari strojnog učenja | [11]

Duboko učenje podskupina strojnog učenja donijelo je super-ljudsku preciznost u različitim praktičnim uporabama u proteklom desetljeću. Od preobražavanja korisničkog iskustva, strojnog prevođenja, prepoznavanja jezika, autonomnih vozila, računalnog vida, stvaranja teksta, razumijevanja govora i mnoštva drugih AI aplikacija [2].

Za razliku od strojnog učenja gdje AI agent uči iz podataka zasnovanih na algoritmima strojnog učenja, duboko učenje temelji se na arhitekturi neuronske mreže koja djeluje slično ljudskom mozgu i omogućava agentu AI da analizira podatke hranjene u - u strukturi sličnoj na način na koji to rade ljudi. Modeli dubinskog učenja ne zahtijevaju algoritme da odrede što učiniti s podacima, što je omogućeno zahvaljujući izvanrednoj količini podataka koju mi ​​kao ljudi prikupljamo i konzumiramo - a zauzvrat se napaja modelima dubokog učenja [3].

"Tradicionalne" vrste dubokog učenja uključuju različitu mješavinu modula za usmjeravanje unaprijed (često konvolucionarne neuronske mreže) i ponavljajućih neuronskih mreža (s vremena na vrijeme s memorijskim jedinicama, poput LSTM [4] ili MemNN [5]). Ovi modeli dubokog učenja ograničeni su u njihovoj sposobnosti da "razmišljaju", na primjer, kako bi napravili duge lance odbitka ili pojednostavili metodu za postizanje odgovora. Količina koraka u proračunu ograničena je količinom slojeva u mrežama za pomicanje prema naprijed, a s vremenskim rasponom ponavljajuća se neuronska mreža sjeća stvari.

U tom trenutku postoji problem mutnosti. Kad se osposobi model dubokog učenja, nije uvijek jasno kako se to odlučuje [6]. U brojnim postavkama jednostavno nije prihvatljivo, bez obzira na to je li pronašlo ispravno rješenje; tj. pretpostavimo da banka koristi AI za procjenu vaše kreditne vrijednosti, a nakon toga vam odbije zajam, u brojnim državama postoje zakoni koji određuju da banka mora razjasniti zašto - ako banka koristi model dubokog učenja za donošenje odluka o kreditu , njihov odjel za kredit (vjerojatno) neće moći dati jasno objašnjenje zašto je zajam odbijen.

Slika 1 | Nazivi generirani ponavljajućom neuronskom mrežom (RNN), RNN je u ovom slučaju osposobljen za prepoznavanje prezentacija slike visoke razine u titlovima. [1]

Najvažnije je nedostatak zdravog razuma. Modeli dubokog učenja mogli bi biti najbolji u opažanju obrazaca. Ipak ne mogu shvatiti što obrasci znače, i znatno manje razloga za njih. Da bismo mogli osnažiti modele dubokog učenja, moramo promijeniti njihovu strukturu da oni ne bi stvorili niti jedan izlaz (tj. Interpretabilnost slike, prijevod odlomka itd.), A svejedno da bi postigli čitav aranžman alternativni ishodi (tj. različiti načini prevođenja rečenice). To je ono što modeli energetske baze trebaju raditi: dati vam ocjenu za svaku zamislivu konfiguraciju varijabli koje se konstruiraju.

Postupno, takve slabosti izazivaju zabrinutost zbog AI među širokim javnim stanovništvom, posebno kao autonomna vozila koja koriste usporedive strategije dubokog učenja za navigaciju po cestama [7], povezuju se s zastojima i smrtnim ishodima [8]. Javnost je počela govoriti da, možda, postoji problem s AI - u svijetu u kojem se očekuje savršenstvo; i iako je duboko učenje na vožnji osobnim vozilima dokazalo, da bi prouzročilo nevjerojatno manje žrtava od ljudskih vozača, čovječanstvo samo po sebi neće imati potpuno povjerenje u autonomna vozila, sve dok u njega ne budu poginule žrtve.

Osim toga, duboko je učenje u svom sadašnjem obliku apsolutno ograničeno iz razloga što ga praktički svi korisni načini [19] [20] [21] [22] [23] [24] [25] [26] [27 ] [28] [29] [30] [31] [32], koristite nadzirano strojno učenje s napomenama o ljudskim komentarima što je uočeno kao značajna slabost - ta ovisnost sprječava da se duboke neuronske mreže primijene na probleme gdje su ulazni podaci rijetki. Neophodno je otkriti pristupe za pripremu opsežnih neuronskih mreža iz "sirovih" nekomentiranih podataka kako bi se uhvatili zakonitosti stvarnog svijeta. U kojem bi kombiniranje dubokog učenja, s protivničkim tehnikama strojnog učenja [17] [18] moglo postaviti odgovor koji tražimo.

U pogledu opće populacije - nažalost javnosti, nema pošteno razumijevanje dubokog učenja. Ako bi rad u dubokom učenju bio ograničen samo na AI istraživačke laboratorije, bila bi jedna stvar. Međutim, tehnike dubokog učenja danas se koriste u svakoj mogućoj primjeni. Razina povjerenja koju voditelji tehnoloških tehnologija i trgovci polažu u tehnike dubokog učenja zabrinjavajuća su. Iako je duboko učenje nevjerojatan podvig, važno je ne samo istražiti njegove snage, već se usredotočiti i biti svjesni njegovih slabosti, kako bi imali plan djelovanja.

Istraživanje Mrinmaya Sachana ka pismenoj umjetnoj inteligenciji [33] čini zanimljiv slučaj u istraživanju kako, iako smo vidjeli primjetna dostignuća na polju umjetne inteligencije zahvaljujući dubokom učenju, današnjim AI sustavima još uvijek nedostaje intrinzična priroda ljudske inteligencije. Potom se zaroni i razmišlja, prije nego što čovječanstvo počne graditi AI sustave koji posjeduju ljudske sposobnosti (rasuđivanje, razumijevanje, zdrav razum), kako možemo procijeniti AI sustave na takvim zadacima? - u cilju temeljitog razumijevanja i razvoja istinskih inteligentnih sustava. Njegovo istraživanje predlaže upotrebu standardiziranih testova na AI sustavima (slično testovima koje studenti poduzimaju za napredak u formalnom obrazovnom sustavu) koristeći dva okvira za daljnji razvoj AI sustava, s vidljivim koristima koje se mogu primijeniti u obliku socijalnih dobro i obrazovanje.

Što se tiče dubokog učenja i odlučivanja, imamo li stvarno teorijsko razumijevanje neuronske mreže?

Umjetne neuronske mreže, koje pokušavaju oponašati arhitekturu mozga, imaju mnoštvo veza umjetnih neurona (čvorova), sama mreža nije algoritam već okvir na kojem mogu djelovati različiti algoritmi strojnog učenja za postizanje željenih zadataka , Temelji neuronskog mrežnog inženjerstva gotovo se u potpunosti temelje na heuristikama, s malim naglaskom na izborima mrežne arhitekture, nažalost ne postoji definitivna teorija koja nam govori kako odlučiti pravi broj neurona za određeni model. Međutim postoje teorijski radovi o broju neurona i ukupnom kapacitetu modela [12] [13] [14], no oni su to rijetko primjenjivi.

Stanford Professsor, Sanjeev Arora, koristi živopisan pristup teoriji generalizacije dubokih neuronskih mreža [15], u kojoj spominje generalizacijsku misteriju dubokog učenja o: Zašto trenirane duboke neuronske mreže djeluju dobro na prethodno nevidljivim podacima? tj. recimo da trenirate model dubokog učenja s ImageNetom i trenirate ga na slikama sa nasumičnim oznakama, rezultat će biti velika točnost. Međutim, korištenjem uobičajenih strategija reguliranja koje donose veću generalizaciju ne pomažu mnogo [16]. Bez obzira na to, obučena neuronska mreža još uvijek nije u mogućnosti predvidjeti nasumično označavanje nevidljivih slika, što zauzvrat znači da neuronska mreža ne generalizira.

Slika 2 | Napadi od jednog piksela koji su uspješno zavarali tri vrste dubokih neuronskih mreža obučenih na skupu podataka CIFAR-10. [9] [10] | Izvorne oznake su crne boje, dok su izlazne oznake napada plavom bojom s odgovarajućim intervalom pouzdanosti [9].

Nedavno su istraživači uspjeli izložiti ranjivosti arhitekture duboke neuronske mreže dodavanjem malih nijansi na velikom skupu slika kako bi se izmijenili (s velikom vjerojatnošću) izlazni modeli [9] neuronske mreže. Studija slijedi nekoliko drugih istraživača koji pokazuju slične razine krhkosti prkose rezultatima, temeljene na malim nijansama na ulazu. Ova vrsta rezultata ne nadahnjuje povjerenje, tj. Kod autonomnih vozila okruženje je sklono svim vrstama nijansi (kiša, snijeg, magla, sjene, lažni pozitivi itd.) - zamislite sada da vizualni sustav odbaci male promjene na vizualnom ulazu. Siguran sam da su Tesla, Uber i nekolicina drugih identificirali ta pitanja i rade na planu kako ih riješiti, međutim važno je da ih i javnost bude svjesna.

Slika 3 | Jedan uspješan napad piksela na duboke neuronske mreže (DNN). Prvo izvorna naljepnica, a zatim izlaz iz napada na zagrade [9]

Danas smo okruženi tehnologijom. Od pametnih naprava na našem domu, pametnih telefona u džepovima, računala na stolovima do usmjerivača koji nas povezuju na internet itd. U svakoj od ovih tehnologija bazne arhitekture funkcioniraju pravilno zahvaljujući čvrstim inženjerskim principima koji su izgrađeni na, duboku matematiku, fiziku, elektrotehniku, računalno i softversko inženjerstvo, itd. i iznad svih ovih područja - godina, ako ne i desetljeća, statističkog testiranja i osiguranja kvalitete.

Važno je zapamtiti da je modelima dubokog učenja potrebna velika količina podataka da bi se uvježbao početni model (kako bi se postigli rezultati visoke točnosti i ne proizveli prekomjerno opremanje, imajte na umu da se podsekvencijalni zadaci mogu naučiti iz prijenosa učenja) i da u konačnici bez dubokog razumijevanja onoga što se uistinu događa unutar "duboke neuronske arhitekture", nije praktično ni teorijski pametno graditi tehnološka rješenja koja su dugoročno održiva.

Zahvale:

Autor se želi zahvaliti Matt Gormleyu, docentu na Sveučilištu Carnegie Mellon, i Arthuru Chanu, glavnom arhitektu za govor, kustosu AIDL.io i specijalistu za duboko učenje na konstruktivnoj kritici u pripremi ovog članka.

ODGOVORNOST: Stajališta izražena u ovom članku su stava autora (a) i ne predstavljaju stavove Sveučilišta Carnegie Mellon, niti drugih kompanija (izravno ili indirektno) povezanih s autorima. Ovi tekstovi nisu konačni proizvodi, već su odraz trenutnog razmišljanja, a ujedno su i katalizator za raspravu i poboljšanje.

Možete me pronaći na mojoj web stranici, Medium, Instagramu, Twitteru, Facebooku, LinkedInu ili preko moje tvrtke za dizajn web stranica.

Preporučene priče:

Reference:

[1] Pregled dubokog učenja | Yann LeCun, Yoshua Bengio, Geoffrey Hinton | http://pages.cs.wisc.edu/~dyer/cs540/handouts/deep-learning-nature2015.pdf

[2] 30 nevjerojatnih primjena dubokog učenja | Yaron Hadad | http://www.yaronhadad.com/deep-learning-most-amazing-applications/

[3] Uvod u duboko učenje | Bhiksha Raj | Sveučilište Carnegie Mellon | http://deeplearning.cs.cmu.edu/

[4] Razumijevanje LSTM mreža | Christopher Olah | http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[5] Neuronske mreže povećane memorijom | Facebook AI Research | https://github.com/facebook/MemNN

[6] Mračna tajna u srcu umjetne inteligencije | MIT tehnološka recenzija | https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/

[7] MIT 6.S094: Duboko učenje za osobne automobile | Massachusetts Institute of Technology | https://selfdrivingcars.mit.edu/

[8] Popis smrtnih slučajeva automobila u samovozi | Wikipedija | https://en.wikipedia.org/wiki/List_of_self-driving_car_fatalities

[9] Jedan napad piksela za zavaravanje dubokih neuronskih mreža | Jiawei Su, Danilo Vasconcellos Vargas, Kouichi Sakurai | https://arxiv.org/pdf/1710.08864.pdf

[10] Kanadski institut za napredni skup podataka | CIFAR-10 Skup podataka | https://www.cs.toronto.edu/~kriz/cifar.html

[11] Slike, ljubaznošću Memoari strojnog učenja | https://mlmemoirs.xyz

[12] Kapacitet duboke neuronske mreže | Aosen Wang, Hua Zhou, Wenyao Xu, Xin Chen | Arxiv | https://arxiv.org/abs/1708.05029

[13] O karakterizaciji kapaciteta neuronskih mreža pomoću algebarske topologije | William H. Guss, Ruslan Salakhutdinov | Strojni odjel, Škola računarskih znanosti, Sveučilište Carnegie Mellon | https://arxiv.org/pdf/1802.04443.pdf

[14] Informacijska teorija, složenost i neuronske mreže | Yaser S. Abu-Mostafa | Kalifornijski tehnološki institut | http://work.caltech.edu/pub/Abu-Mostafa1989nnet.pdf

[15] Teorija generalizacije i duboke mreže, uvod | Sanjeev Arora | Sveučilište Stanford | http://www.offconvex.org/2017/12/08/generalization1/

[16] Razumijevanje dubokog učenja zahtijeva preispitivanje generalizacije | Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals | https://arxiv.org/pdf/1611.03530.pdf

[17] Ograničenja dubokog učenja u adversarialnim postavkama | Nicolas Papernot, Patrick McDaniel, Somesh Jha, Matt Fredrikson, Z. Berkay Celik, Ananthram Swami | Zbornik radova 1. IEEE Europskog simpozija o sigurnosti i privatnosti, IEEE 2016. Saarbrucken, Njemačka | http://patrickmcdaniel.org/pubs/esp16.pdf

[18] Strojno učenje u protivničkim postavkama | Patrick McDaniel, Nicolas Papernot i Z. Berkay Celik | Državno sveučilište Pennsylvania | http://patrickmcdaniel.org/pubs/ieeespmag16.pdf

[19] Alex Krizhevsky, Ilya Sutskever i Geoffrey E. Hinton. Klasifikacija Imageneta s dubokim konvolucijskim neuronskim mrežama. Napredak u neuronskim sustavima za obradu informacija, 2012.

[20] Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato i Lior Wolf. Deepface: Zatvaranje jaza do performansi na nivou humanosti prilikom provjere lica. U Zborniku IEEE konferencije o računalnom vidu i prepoznavanju uzoraka, stranice 1701-1708, 2014.

[21] Karen Simonyan i Andrew Zisserman. Vrlo duboke konvolucijske mreže za prepoznavanje velikih razmjera. Napredak u neuronskim sustavima za obradu informacija, 2015.

[22] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, et al. Zalazak dublje sa zavojnicama. U Zbornik radova IEEE konferencije o računalnom vidu i prepoznavanju uzoraka (CVPR), 2015.

[23] Kaiming He, Xiangyu Zhang, Shaoqing Ren i Jian Sun. Kopanje duboko u ispravljače: Nadmašivanje performansi na razini ljudske razine u klasifikaciji imageneta. U Zbornik radova IEEE-ove međunarodne konferencije o računalnom vidu, stranice 1026–1034, 2015.

[24] Kaiming He, Xiangyu Zhang, Shaoqing Ren i Jian Sun. Duboko preostalo učenje za prepoznavanje slike. U Zborniku IEEE konferencije o računalnom vidu i prepoznavanju uzoraka (CVPR), stranice 770–778, 2016.

[25] Geoffrey Hinton, Li Deng, Dong Yu, George E Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N Sainath, et al. Duboke neuronske mreže za akustičko modeliranje u prepoznavanju govora: Zajednička stajališta četiri istraživačke skupine. Časopis IEEE za obradu signala, 29 (6): 82–97, 2012.

[26] Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan Prenger, Sanjeev Satheesh, Shubho Sengupta, Adam Coates i sur. Duboki govor: Smanjivanje prepoznavanja govora na kraju. arXiv pretisak arXiv: 1412.5567, 2014.

[27] Wayne Xiong, Jasha Droppo, Xuedong Huang, Frank Seide, Mike Seltzer, Andreas Stolcke, Dong Yu i Geoffrey Zweig. Postizanje ljudskog pariteta u razgovornom prepoznavanju govora. arXiv pretisak arXiv: 1610.05256, 2016.

[28] Chung-Cheng Chiu, Tara N Sainath, Yonghui Wu, Rohit Prabhavalkar, Patrick Nguyen, Zhifeng Chen, Anjuli Kannan, Ron J Weiss, Kanishka Rao, Katya Gonina i drugi. Vrhunsko prepoznavanje govora s modelima slijeda u nizu. arXiv pretisak arXiv: 1712.01769, 2017.

[29] Dzmitry Bahdanau, Kyunghyun Cho i Yoshua Bengio. Prijevod neuronskih strojeva zajedničkim učenjem usklađivanja i prevođenja. Na Međunarodnoj konferenciji o predstavništvima za učenje, 2015.

[30] Ilya Sutskever, Oriol Vinyals i Quoc V Le. Slijed učenja s nizovima s neuronskim mrežama. Napredak u neuronskim sustavima za obradu informacija, stranice 3104–3112, 2014.

[31] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, et al. Googleov sustav neuronskog strojnog prevođenja: premošćivanje razlike između ljudskog i strojnog prijevoda. arXiv pretisak arXiv: 1609.08144, 2016.

[32] Hany Hassan, Anthony Aue, Chang Chen, Vishal Chowdhary, Jonathan Clark, Christian Federmann, Xuedong Huang, Marcin Junczys-Dowmunt, William Lewis, Mu Li, i dr. Postizanje ljudskog pariteta na automatskom prijevodu vijesti s kineskog na engleski. arXiv pretisak arXiv: 1803.05567, 2018.

[33] Mrinmaya Sachan, prema pismenoj umjetnoj inteligenciji, odjel za strojno učenje na Sveučilištu Carnegie Mellon, https://pdfs.semanticscholar.org/25c5/6f52c528112da99d0ae7e559500ef7532d3a.pdf