Den rigtige årsag Tech strider med algoritmiske bias


Er maskiner racistiske? Er algoritmer og kunstig intelligens iboende fordømt? Har Facebook, Google og Twitter politiske forstyrrelser? Disse svar er komplicerede.

Men hvis spørgsmålet er om teknologibranchen gør nok for at imødegå disse forstyrrelser, er det lige svar nej.

WIRED UDTALELSE

OM

Yaël Eisenstat er en tidligere CIA-officer, National Security Advisor til Vice President Biden og CSR-leder hos ExxonMobil. Hun var Elections Integrity Operations Head på Facebook fra juni til november 2018.

Advarsler om, at AI- og maskinindlæsningssystemer trænes ved brug af "dårlige data" i overflod. Den ofte fremtrædende løsning er at sikre, at mennesker træner systemerne med upartiske data, hvilket betyder, at mennesker skal undgå at forvirre sig selv. Men det ville betyde, at teknologibedrifter træner deres ingeniører og datavidenskabsfolk om at forstå kognitiv bias, samt hvordan man kan "bekæmpe" det. Har nogen stoppet for at spørge, om de mennesker, der fodrer maskinerne, virkelig forstår, hvad bias betyder?

Virksomheder som Facebook-min tidligere arbejdsgiver-Google og Twitter har gentagne gange været under angreb for en række bias-laden algoritmer. Som svar på disse legitime frygt har deres ledere lovet at foretage interne revisioner og hævder, at de vil bekæmpe denne eksponentielle trussel. Mennesker kan ikke helt undgå forvirring, som utallige studier og publikationer har vist. At insistere ellers er et intellektuelt uærligt og doven svar på et meget reelt problem.

I mine seks måneder på Facebook, hvor jeg blev ansat til at være leder af Global Elections Integrity Ops i virksomhedens division for forretningsintegritet, deltog jeg i mange diskussioner om emnet. Jeg kendte ikke nogen, som med vilje ville indarbejde bias i deres arbejde. Men jeg fandt heller ikke nogen, som faktisk vidste, hvad det betød at modvirke bias på nogen sand og metodisk måde.

I mere end et årti arbejdede som CIA-officer, gik jeg igennem flere måneder af træning og rutinemæssig omskoling om strukturelle metoder til kontrol af antagelser og forståelse af kognitive forstyrrelser. Det er et af de vigtigste færdigheder for en efterretningsofficer at udvikle. Analytikere og operationer skal udnytte evnen til at teste antagelser og gøre det ubehagelige og ofte tidskrævende arbejde med at foretage en streng evaluering af ens egen biases ved analyse af begivenheder. De skal også undersøge forspændingerne hos dem, der leverer informationsaktiver, udenlandske regeringer, medier, modstandere til samlere.

Denne form for træning er traditionelt forbeholdt dem på områder, der kræver kritisk analytisk tænkning, og efter min bedste viden og erfaring er det mindre almindeligt inden for tekniske områder. Selvom teknologibedrifter ofte har obligatorisk "management bias" -uddannelse til at hjælpe med mangfoldighed og inklusionsproblemer, så jeg ikke sådan uddannelse inden for kognitiv bias og beslutningstagning, især da det vedrører hvordan produkter og processer bygges og sikres.

At dømme efter nogle af de ideer, der blev bragt af mine Facebook-kolleger, havde ingen af ​​de ting, jeg havde brugt år, gjort strukturerede analytiske teknikker, vejer beviser, ikke hoppede til konklusioner, udfordrende antagelser – var normal praksis, selv når det drejede sig om at løse virkelige konsekvenser af de produkter, de byggede. I stor udstrækning er "move fast" -kulturen antitetisk for disse teknikker, da de kræver at bremse ned, når de står over for vigtige beslutninger.

Flere tilsyneladende små, men om eksempler fra min tid på Facebook viser, at disse virksomheder mangler båden, til trods for velviljefulde hensigter. Som forberedelse til 2018 amerikanske midtermvalg valgte vi vores hold om der var nogen risiko for, at vi ville blive anklaget for en anti-konservativ bias i vores politikker for integritetspolitik. Nogle af de løsninger, de foreslog, viste, at de ikke havde nogen ide om, hvordan man faktisk identificerer eller måle bias. En programleder foreslog at foretage en straight data sammenligning af hvor mange liberale eller konservative annoncer blev afvist – ingen andre analytikere eller PM'er markerede dette som problematisk. Mine forklaringer på de iboende fejl i denne idé syntes ikke at afholde dem, at dette ikke ville vise sig at være en mangel på bias.

I andre øvelser vil medarbejdere undertiden mischaracterize annoncer baseret på deres egne iboende forspændinger. I et strålende eksempel kategoriserede en associeret fejlagtigt en pro-HBT-annonce, der drives af en konservativ gruppe som en anti-HBT-annonce. Da jeg påpegede, at hun havde ladet sine antagelser om konservative gruppers meninger om HBT-problemer føre til forkert mærkning, blev mit svar opfyldt ved tavshed op og ned i kæden. Disse mischaracterizations er indarbejdet i manualer, der træner både menneskelige korrekturlæsere og maskiner.

Disse er fejltagelser, mens du forsøger at gøre det rigtige. Men de demonstrerer, hvorfor tasking ikke-uddannede ingeniører og datavidenskabere med korrigerende bias er på bredere niveau naiv og på ledelsesniveau uhensigtsmæssigt.

Jeg tror, ​​at mange af mine tidligere kolleger på Facebook grundlæggende vil gøre verden til et bedre sted. Jeg har ingen tvivl om, at de føler, at de bygger produkter, som er blevet testet og analyseret for at sikre, at de ikke fortsætter de nastiest forstyrrelser. Men virksomheden har skabt sin egen slags økulære boble, hvor medarbejdernes opfattelse af verden er et produkt af en række forspændinger, der er forankret i Silicon Valley-teknologi- og innovationsscenen.

Det er netop derfor, at teknologibranchen rent faktisk skal investere i reel kognitiv biasuddannelse og give sande eksperter mulighed for at løse disse problemer, i modsætning til spydende platituder. At modvirke bias tager arbejde. Selvom jeg ikke forventer, at virksomhederne sætter deres medarbejdere igennem samme stringente uddannelse af efterretningsanalytikere, ville det være et konkret skridt at øge bevidstheden om deres kognitive begrænsninger gennem workshops og træning.

Sidste år, da jeg deltog i et værksted i Sverige, startede en træner en session med en typisk test. Så snart han satte lyset op, vidste jeg det var en kognitiv biasøvelse; min hjerne krypterede for at finde tricket. Til trods for min kritiske tænkningskompetencer og analytiske integritet faldt jeg stadig helt ind i fælden af ​​det, der hedder "pattern bias", hvor vi ser de mønstre, vi forventer at se. På et værksted gav jeg til en gruppe uddannede efterretnings- og sikkerhedsanalytikere i New York et par måneder senere, de faldt også alle sammen for en række forspændingsfælder.

Ligegyldigt hvor trænet eller dygtigt du måtte være, er det 100 procent menneske at stole på kognitiv bias for at træffe beslutninger. Daniel Khaneman's arbejde, der udfordrer antagelserne om menneskelig rationalitet, blandt andet teorier om adfærdsmæssig økonomi og heuristik, kører hjem til det punkt, at mennesker ikke kan overvinde alle former for bias. Men at bremse og lære, hvad disse fælder er – samt hvordan man genkender og udfordrer dem – er kritisk. Da mennesker fortsætter med at træne modeller på alt fra at stoppe hadatale online for at mærke politisk reklame til mere retfærdige og retfærdige ansættelses- og promoveringspraksis, er dette arbejde afgørende.

At være alt for afhængig af data – som i sig selv er et produkt af tilgængelighedsperspektiv – er en stor del af problemet. I min tid på Facebook blev jeg frustreret af det øjeblikkelige spring til "data" som løsningen på alle spørgsmål. Denne impuls overskyggede ofte nødvendig kritisk tænkning for at sikre, at de tilvejebragte oplysninger ikke blev besad af spørgsmål om bekræftelse, mønster eller andre kognitive forstyrrelser.

Der er ikke altid et strikt datastyrt svar på menneskets natur. Troen på, at der blot køres et datasæt vil løse for enhver udfordring, og enhver bias er problematisk og myopisk. For at imødegå algoritmisk, maskin og AI bias skal menneskelig intelligens indarbejdes i løsninger, i modsætning til en over-afhængighed af såkaldte "rene" data.

Selvom der er positive tegn på, at industrien søger ægte løsninger, som f.eks. IBM Researchs arbejde for at reducere forskelsbehandling, der allerede findes i et træningsdatasæt, vil sådanne bestræbelser ikke løse menneskets natur. Nogle af de foreslåede rettelser omfatter revisionsalgoritmer eller opdatering af dataene, der føres til maskiner. Men det er stadig mennesker, der udvikler de underliggende systemer. Forsøg på at undgå bias uden en klar forståelse af hvad det virkelig betyder, vil uundgåeligt svigte.

WIRED Opinion udgiver stykker skrevet af eksterne bidragsydere og repræsenterer en bred vifte af synspunkter. Læs mere meninger her. Indsend en op-ed på opinion@wired.com


Flere Great WIRED Stories