Lukas Vermeer govoreći na Marketinškom festivalu 2016

JADS @ Booking.com

Filozofi i teleskopi

Čak i bez posjedovanja smještaja, Booking.comu je teško da se predstavlja kao jedna od najvećih svjetskih turističkih tvrtki. Učinkovitim kombiniranjem znanosti o podacima s fokusom na kupca, Booking.com je postao lider na tržištu. Znanost je, uglavnom, ključni pokretač njezina uspjeha i cijenjena je u kompaniji. Jedan od ključnih igrača u ovom znanstvenom okruženju je Lukas Vermeer. S akademskom podrijetlom u računanju znanosti i strojnog učenja, Lukas je stariji znanstvenik o podacima na Booking.com-u i odgovoran za kontrolirane eksperimente. Idilično smješten u kanalu u Amsterdamu, Jasper Lanters i ja razgovarali smo s njim u njihovom sjedištu. Oduševljeno nam govori o eksperimentima na Booking.com-u i budućnosti znanosti o podacima: filozofi i graditelji teleskopa.

Svrha i zamke A / B testiranja

Kao tvrtka koja visoko cijeni znanost, kako provodite eksperimente?

Koristimo eksperimente u razvoju proizvoda za poboljšanje korisničkog iskustva na dva načina: s jedne strane ga koristimo da spriječimo da se korisničko iskustvo neočekivano pogorša, a mi ga također koristimo da naučimo što kupci žele u pozitivnom smislu. Sprečavanje degradacije je lakši izazov. Postoje određeni segmenti kupaca koji su relativno mali i ranjivi i lako ih je previdjeti tijekom razvijanja novih značajki za naše kupce. Na primjer, države u kojima čitaju s desna na lijevo ili osobe koje koriste softver za čitanje zaslona. Moglo bi se dogoditi da nova značajka na web mjestu ne funkcionira pravilno za ove grupe. To su tipični "rubni slučajevi". Kad god uvedemo promjenu, koristimo A / B testiranje kako bismo saznali njezine učinke. Pronalaženje velikih negativnih učinaka je lakše i zahtijeva manje veličine uzorka u usporedbi s manjim optimiziranjima za korisničko iskustvo, tako da najveći dio svog vremena provodim na potonjem.

"Kad se problemi učinkovito riješe, kupci će vam se javiti, a KPI-ovi će rasti. Ne obrnuto. "

Naravno da se ne oslanjamo samo na kontrolirane eksperimente; koristimo i kvantitativne i kvalitativne metode. Rezervacija ima vlastiti laboratorij u kojem se provode kvalitativna istraživanja. Tamo pozivamo ljude na kavu i moli ih da rezerviraju mjesto za boravak. Promatramo što rade, slušamo ih, postavljamo pitanja. Ideje koje dobivamo iz ovih kvalitativnih studija, na primjer, ljudi bi mogli reći da cijene dobar doručak, pretvaraju se u značajke na našoj web stranici koje zatim potvrđujemo A / B testiranjem. Ovo je za nas drugi cilj A / B testiranja: provjera ako rješenje pomaže korisnicima da riješe određeni problem ili ne. Ovaj fokus provjere valjanosti i rješenja vrlo je važan i često se zaboravlja. Kada gledate tvrtke koje obavljaju puno A / B testiranja, neprekidna prijetnja je da će oni pokušati optimizirati KPI, umjesto da riješe stvarne probleme za korisnike. Po mom mišljenju, cilj A / B testiranja je potvrditi je li hipotezni problem učinkovito riješen. I to je to! Kad se problemi učinkovito riješe, kupci će vam se javiti, a KPI-ovi će rasti. Ne obrnuto.

Kako se znanost podataka odnosi na to?

Pomaže u razumijevanju onoga što ljudi žele te u stvaranju značajki i pronalaženju preporuka koje će im pomoći da pronađu ono što im treba. Mnogi ljudi ne znaju točno što traže. Booking.com ima više mogućnosti smještaja od bilo koje druge tvrtke, pa bi u teoriji za svakoga trebalo postojati nešto. Izazov je pomoći ljudima da svaki put pronađu pravo mjesto za njih.

Kad je riječ o preporukama, ponekad preporučujemo opcije koje se mogu činiti irelevantnim za točan korisnički upit, primjerice alternativni datumi određenog smještaja. Ljudima koji ne znaju što žele treba ponuditi prozor istraživanja kako bi im se pružila prilika da prošire svoje pretraživanje, a ne da ga previše sužavaju.

Nadalje, neki ljudi su fleksibilni, a drugi ne. Znanost podataka također može pomoći u predviđanju ljudi koji su fleksibilni, a koji nisu. Možemo li predvidjeti koji su datumi zanimljivi? Za koje ljude? To je vrlo važno, jer najviše smeta kada tražite samo određeni tjedan, popust od 50% za sljedeći tjedan.

Kakve podatke upotrebljavate kao unos modela?

Jedva da imamo dostupne podatke o korisničkim profilima, što mislim da je jedna od velikih zabluda. Kada stignete na našu web stranicu, dobivamo samo vaš kolačić, vašu IP adresu i znamo koji preglednik koristite. To je otprilike to. Međutim, znamo što vi radite. To je jedan od razloga zašto vam moramo pokazati toliko nevažnih stvari, posebno u početku. Kad o kupcu ne znamo ništa, trebali bismo pretpostaviti da bi ona mogla odgovarati svim profilima. Prikazujemo signale različitih vrsta i tumačimo njihove reakcije. To je vrlo izazovno, jer je temeljnu istinu vrlo teško dobiti. Je li ovaj kupac stvarno fleksibilan? Ili samo reagira nasumično? Sve se to puno oslanja na nekontrolirano učenje.

"Jedva da imamo dostupne podatke o korisničkim profilima, što mislim da je jedna od velikih pogrešnih percepcija."

Život na Booking.com-u

A sada za nešto sasvim drugo: puno putujete sami?

Prije sam imao djecu haha! Sada imam tri djevojčice i mnogo je teže istraživati ​​svijet. Jedna od lijepih stvari o Booking.com-u je da u uredu imamo više od 100 nacionalnosti, tako da još uvijek susrećem ljude iz cijelog svijeta bez da sam morao putovati! Ta kulturološka raznolikost nam je zapravo vrlo važna. Za turističku tvrtku koja opslužuje ljude iz cijelog svijeta važno je pokušati razumjeti naš proizvod iz što više perspektiva. Raznolikost nam daje snagu.

Kako izgleda vaša organizacija?

Booking.com je organiziran malo drugačije od većine tvrtki i to je u početku bio jedan od razloga što sam želio raditi za Booking.com. U svojim konzultantskim godinama vidio sam mnoge tvrtke s potpuno izoliranim odjelima strukturiranim oko unutarnjih odgovornosti: IT, marketing, prodaja itd. Ovdje su odjeli strukturirani oko korisničkih iskustava i proizvoda. Radimo s multidisciplinarnim timovima koji su odgovorni za određeni dio našeg proizvoda i koji su izrađeni što je više moguće osnaženi i samodovoljni. Na primjer, tim od 8 ljudi, uključujući programere, dizajnere, autore copywritera i vlasnika proizvoda, može biti odgovoran za alat koji pomaže korisnicima da upravljaju rezervacijama. Oni rade vlastita istraživanja, grade svoje osobine i donose vlastite odluke o svom proizvodu bez većih uplitanja vodstva.

Kako se znanje dijeli u kompaniji?

Iako imamo interne društvene mreže, najbolji način dijeljenja znanja i dalje je licem u lice, popiti šalicu kave i razgovarati o stvarima. Budući da su ljudi gotovo uvijek bliski ljudima koji su im potrebni, komunikacija može teći organski. Također rotiramo ljude i mnogo mijenjamo timove kao odgovor na ono što korisnici trebaju, tako da ljudi vrlo brzo upoznaju brojne kolege i različite dijelove naše organizacije.

Ako također volite kavu i želite intimniji pogled na život na Booking.com-u, pogledajte!

Filozofi, teleskopi i budućnost znanosti o podacima

Kako se znanost podataka mijenja u budućnosti?

Mislim da i to vjerojatno nije ono što ljudi žele čuti, već prestižni dio analitike; modeliranje, implementacija neuronskih mreža, logističke regresije ili bilo čega što imate, najlakše je automatizirati i stoga će se najprije automatizirati. Slojeve izvan crne kutije teže je automatizirati, tako da će stvari poput prikupljanja podataka, izrade značajki, modeliranja izlaza, odlučivanja i kauzalnog zaključivanja biti vještine koje će ostati ključne. Svaki model može biti dobar samo onoliko koliko stavite u njega i način na koji vam nešto vraća. Ja često radim ljude koji rade na tim vanjskim slojevima kao "filozofe" i "graditelje teleskopa". Filozofi razmišljaju o cjelokupnom sustavu i svijetu u kojem djeluje, dok se graditelji teleskopa usredotočuju na tehničke aspekte točnog mjerenja svijeta oko sebe. Na kraju, mislim da će ti poslovi ostati.

"Mislim da je to prestižni dio analitike; modeliranje, implementacija neuronskih mreža ili što već, najlakše je automatizirati i stoga će se najprije automatizirati. "

Dakle, jeste li filozof ili graditelj teleskopa?

Mislim da sam oboje, ali najviše volim filozofirati. Razmišljanje o pojmovima; sustav. Zapravo sam počeo studirati računarstvo jer sam bio dobar u biologiji. Na ispitu u srednjoj školi postavilo se ovo pitanje: pacijent ima bjelančevine u urinu, što može biti pogrešno? Volio sam rješavati ove vrste problema i mislim da je to vrlo slično kodu za uklanjanje pogrešaka. Softver stvara grešku, što ga je uzrokovalo? Postoji ovaj ogromni složen sustav poput ljudskog tijela, u kojem mnogi dijelovi komuniciraju jedni s drugima i na ovaj ili onaj način ne dobivamo željeni ishod. Rješavanje tih zagonetki je ono što stvarno volim.

U nastavku nadahnjujućeg govora, Lukas razrađuje ove dvije pojave, kiseli kupus i još mnogo toga.

Proučavanje znanosti o podacima, malina i mačaka

Što mislite, na što se trebaju usredotočiti studije znanosti o podacima?

Zapravo sam to već rekao: na podizanju filozofa i graditelja teleskopa. Izvana vidim da je fokus često na primjeni određenih modela ili tehnologija, krcanju broja, predviđanju, Hadoopu itd. Želio bih da se više fokusiram na procjeni pouzdanosti mjerenja i zaključaka. Postavljajući pitanja poput: Kako mogu da zamislim svoje značajke na takav način da su one savršen ulaz za stroj? Kako se mogu koristiti rezultatima za donošenje najboljih odluka? Koje su unutarnje i vanjske prijetnje valjanosti? Nemojte se fokusirati samo na samu analizu, već i ono što dolazi prije i poslije. Znanost podataka ne odnosi se samo na analizu ili model, već i na kontekst u kojem se koriste.

Mačka

To možete sami uvježbati! Samo kupite Raspberry Pi, USB termometar i krenite mjeriti temperaturu u svojoj kući. Napišite malo skriptu koja bilježi mjerenje svake minute i uskoro ćete imati skup podataka. Recimo da želite predvidjeti temperaturu u vašem domu na temelju temperature vani pomoću jednostavnog prediktivnog modela. Možete li smisliti načine na koje to može poći po zlu? Koje su prijetnje modelu i podacima koje koristite? Može doći do prekida napajanja električnom energijom, vaša je mačka sjela na termometar, ušla je vaša svekrva i podigla grijanje. Može se dogoditi puno neočekivanih stvari. Jednostavan izazov poput ovog može vam pomoći u praksi da predvidite moguće nedostatke u podacima i naučite kako možete upravljati preciznim predviđanjima ili barem znati kada ne možete.

Mislim da ćete, kada se bavite ovim problemom, najmanje zanimati koji ćete konkretni model koristiti za predviđanje. Bilo da se radi o neuronskoj mreži, linearnoj regresiji ili što već. To je najlakši dio! Težak je dio: moja mačka je sjedila na termometru i ne znam točno kad! Kako ću očistiti svoje podatke tako da su prikladni za točna predviđanja? Možda ćete naći čak i obrazac, a ispada da mačka tamo sjedi svako jutro u 7 sati ujutro, a zatim možete uključiti svoju mačku u model, haha! Ali nema šale, dečki, o tome se radi u znanosti podataka. To su na kraju problemi s kojima ćete se suočiti i u stvarnom svijetu.

„Ono što trebate je znanstvenik podataka sposoban za provjeru ispravnosti. Netko tko vidi podatke iz 2024. godine i misli: "Ali to još nije 2024."

Mačka je naravno blesav primjer, ali postoje mnoge sličnosti s stvarima s kojima se borimo u praksi. Znate li ove mobilne igre u kojima igrač treba čekati još jedan dan da bi dobio više novca? Znate li što ljudi često rade? Jednostavno odrede datum svog telefona dan unaprijed, jer tada neće morati cekati cijeli dan! I to opet čine___ i opet. A onda otvaraju aplikaciju Booking. Pa kad preuzmemo podatke, aplikacija kaže: čestitam, ova osoba je sutra kliknula na vašu vezu. Pa, koliko mislite da će moj model biti ako bih koristio ove podatke? Čak ni najinteligentniji modeli ove vrste neće pronaći! Ono što trebate je znanstvenik podataka sposoban za provjeru ispravnosti. Netko tko zna ne napraviti model bez da prvo provjeri podatke. Netko tko vidi podatke iz 2024. godine i misli: "Ali to nije 2024.! Ti ljudi su ljudi koje trebamo.

Nakon što su pozvani na ručak i razgovarali o Lukasovoj prethodnoj ambiciji da gledamo cijeli IMDb top 250, Jasper i ja ostali smo u nedoumici, iako nadahnuti. Dok smo pomalo sramotno resetirali moj telefon na stvarni datum, upitali smo se želimo li biti filozofi ili graditelji teleskopa. Iako znam svoju prirodu, mogu postojati samo korisne kombinacije između dvaju profila. Jedan od njih sigurno je Lukas Vermeer.