Kad je nevinost anomalija podataka

Što (propali) softver za predviđanje kriminala govori nam o naoružavanju ICE-a Amazonovim povratom

Fotografija Bernarda Hermanta na Unsplash

Tijekom 2000. godine policija Miamija zaustavila je preko 2.300 muškaraca koji su izgledali "crno ili latinoamerički". Tada je policija tragala za navodnim silovateljem s tim nejasnim opisom. Obrisali su muške obraze i testirali DNK uzorke protiv silovatelja koji su pronađeni na mjestu događaja. Nijedan se nije pojavio, ali policija je svoje genetske podatke pohranila u bazu podataka za sljedeći put kada su lovili „crnog ili latinoameričkog“ osumnjičenog. "Ova baza podataka nevinih crnaca i latinoamerikanaca," piše Harriet Washington, u svojoj knjizi Medicinski aparthejd, "predstavlja kolektivnu pretpostavku krivnje." Svi ti muškarci pokazali su da su nevin.

Ovaj incident predstavio je grozan prikaz načina na koji se podaci, genetski ili digitalni, o nevino obojanim ljudima postupaju - dostupni su u bazama podataka za vlasti koje ih prate, pretpostavljajući da su krivi za buduće zločine koji se temelje samo na njihovoj rasi.

Sada, s Amazonskim vrckanjem Rekognacije, njegovim sustavom prepoznavanja lica, ICE-u, postoji mogućnost da sustav masovno prepozna ljude u boji. To bi omogućilo ICE agentima da zaustave veći broj ljudi u boji, pretpostavljajući da bilo koja osoba neće biti dokumentirana kada Rekog paljenje odgovara njihovom licu fotografijom u bazi podataka. "Ako imaju ovu tehnologiju," upozorava Alonzo Peña, bivši zamjenik direktora ICE-a, "vidim da se koristi na bilo koji način za koji misle da će im pomoći da povećaju broj pritvora, uhićenja i uklanjanja."

Ako je ICE naoružan Rekognazijom, to će omogućiti masovno rasno profiliranje.

Iako bi ponovno stupanje moglo postati učinkovitije od obavještajnih podataka ICE-a, pojednostavljivanje procesa identifikacije nedokumentiranih imigranata, možda nije tako točno. Istraživanje M.I.T. Media Lab otkrio je da sustavi prepoznavanja lica iz Microsofta, IBM-a i Face ++ pogrešno identificiraju do 35 posto crnaca i 12 posto crnaca, dok identificiraju čak 93 odnosno 99 posto bijelaca i muškaraca. To pokazuje da ovaj softver nije obučen za prepoznavanje nejakih lica, ali bi se koristio s namjerom da ih cilja.

Ako pogledamo skupove podataka koji se koriste za treniranje ovih algoritama, oni se sastoje od nerazmjerno više slika ljudi svjetlije kože. Ostavljajući više ljudi u ovim skupima podataka, ovi algoritmi imaju manje osnove za prepoznavanje ljudi u boji - u stvari, oni mogu generalizirati informacije važne za identifikaciju bijelaca kako bi se razlikovali ljudi u boji. Nastale razlike u prepoznavanju ljudi različitih rasa "odražavaju prosudbe i prioritete njenih stvaralaca", kako znanstvenik podataka Cathy O'Neil raspravlja u svojoj knjizi Oružje uništenja matematike. S ovom tehnologijom koja pokazuje rasnu pristranost, izgledi su već postavljeni u odnosu na ljude u boji. Mnogi rizikuju da budu pogrešno identificirani i postanu ranjivi na zakonite posljedice. Korištenje Rekognacije za lov na nedokumentirane imigrante postat će, kako O'Neil kaže, "digitalni oblik stop-and-frisk." Ako je ICE naoružan Rekognizacijom, to će omogućiti masovno rasno profiliranje.

Povijesno gledano, čak i softver koji nije namijenjen rasi, odvratio je i ciljao ljude u boji. Opasnost ove vrste softvera je da su je vlasti uzele kao precizniji i „znanstveniji“ pristup zaustavljanju kriminala. Ako podaci dovode policiju do više kriminala u osiromašenim četvrtima, mora biti više kriminala na tim područjima.

Takav je slučaj bio u slučaju kada je policija u britanskom okrugu Kent zapošljavala program predviđanja kriminala (PredPol), program za predviđanje kriminala, još u 2013. Program je, sat po sat, mapirao lokacije zločina koji su se najvjerojatnije dogodili na temelju povijesnih obrasci kriminala. Pokazalo se da je „deset puta učinkovitiji od slučajne patrole i dvostruko precizniji od analize. , , prema policijskim obavještajima, "prema O'Neilu, ali njezine su karte vodile sve više i više policije do osiromašenih četvrti gdje su ciljali na više ljudi u boji.

Mapa kriminala PredPol (kreditna fotografija)

Evo gdje je pošlo po zlu. Policija je mogla birati kada je postavljala sustav na nulu u takozvanim zločinima iz 1. dijela, koji su uključivali nasilne zločine, poput ubojstava, podmetanja požara i napada, ili zločine 2. dijela, zlostavljanja (npr. Vagaranje, agresivno zlostavljanje ili konzumiranje malih količina lijekova). Policija u Kentu odlučila je u svoj model uključiti podatke o nasilnim i zlonamjernim zločinima. Iako su namjeravali zaustaviti nasilne zločine, uključujući oba zločina, na ekranu je prikazana cjelovitija slika kriminala u tom području.

Postala je petlja za povratne informacije. , , takva da je nevinost u siromašnim četvrtima postala anomalija podataka.

Uključujući neugodne zločine, izvrgnuta je analiza, što je dovelo više policije do osiromašenih četvrti - četvrti u kojima su ti zločini najčešći. Kako je softver vodio više policije u te četvrti, prijavljivali su više zločina koji su postali više podataka. S više podataka, softver je predviđao više kaznenih djela u tim istim područjima, što je opravdavalo više policijskih postupaka na tim područjima.

Postala je petlja za povratne informacije koja vodi više policije u potragu za zločinima na tim područjima, tako da je nevinost na tim područjima postala anomalija podataka. Na zemljovidu su se zapalili siromašni krajevi, izgleda da potvrđuju zajedničko uvjerenje o siromašnim ljudima - da su oni odgovorni za većinu zločina u društvu. PredPol je ojačao pretpostavku krivnje siromašnih ljudi, sada preciznijim i znanstvenim pristupom, no zločini koje je bilo najučinkovitije predvidjeti nisu zločini koje je policija namjeravala zaustaviti. Nakon ovog traga, mnogi ljudi u boji bili su nepravedno ciljani i uhićeni.

Na isti način na koji je PredPol opravdao više policijskog postupanja u siromašnim četvrtima, postoji mogućnost da Rekogservation opravda rasno profiliranje. Mnogi ljudi u boji riskiraju da im se lice ne podudaraju, a oni koji se lažno podudaraju primit će svoju riječ protiv riječi algoritma. Osim neugodnosti i uznemiravanja zbog kojih će se pogrešno identificirati, O'Neil ističe da su "ljudi držani na daleko višem standardu dokaza od samih algoritama." Kvote su već složene u odnosu na ljude u boji kada je riječ o tehnologija za nadzor prepoznavanja lica, baš kao što je bila i u provedbi zakona - a ova tehnologija može nanijeti mnogo više štete nebrojenom broju života.

Ova priča objavljena je u najvećoj poduzetničkoj publikaciji The Startup, koju prati +384 399 ljudi.

Pretplatite se za primanje naših najboljih priča ovdje.