Ai-forskaren som kämpar för opartiska algoritmer

2018-03-09 14:27  

Artificiell intelligens kommer aldrig att kunna göra objektiva bedömningar om bara en viss typ av människor skriver algoritmerna. ”Du får en värld som bygger på okunnighet, baserad på en tro att systemet, tekniken och maskinerna vi använder är rättvisa. Men så är inte alltid fallet” säger ai-forskaren Joy Buolamwini.

Ai-forskaren Joy Buolamwini börjar sitt scenframträdande med att visa en film. Deltagarna på Women in Tech i Stockholm får se hur en mjukvara för ansiktsigenkänning lyckas upptäcka alla ansikten utom ett - hennes. Skälet är att de som har tagit fram applikationen inte har tagit hänsyn till alla olika hudtoner som finns. De har bara utgått från de ljusaste.

Det här är bara ett av flera exempel på krocken mellan de enorma förhoppningar som finns på artificiell intelligens och hur långt det faktiskt är kvar tills tekniken klarar av att göra opartiska bedömningar. Ai utgår från algoritmer som både omedvetet och medvetet påverkas av vilka som skriver dem.

Joy Buolamwini berättar senare för Ny Teknik att antagandet att maskiner är neutrala kan göra mer skada i dag än tidigare. Du kan till exempel hamna i rekryteringsprocesser, men aldrig bli uppringd på grund av ett beslut som en maskin har tagit, baserat på otillräcklig information.

-Hur ska du kunna veta om att det är så, om du inte känner till att det här problemet finns?

Och hur ska de som rekryterar veta att det är så här det funkar? De förlitar sig kanske också på att processen verkligen är objektiv?

-Ja, precis. Du får en värld som bygger på okunnighet, baserad på en tro att systemet, tekniken och maskinerna vi använder är rättvisa. Men så är inte alltid fallet. Det är också därför jag studerar frågor om rättvisa, ansvar och transparens inom artificiell intelligens, säger Joy Buolamwini.

Läs mer: ”Algoritmer utan etik ger ai utan moral”

De senaste åren har vi hört allt mer om fantastiska, banbrytande upptäckter inom artificiell intelligens. Nu börjar det också mer och mer röra sig från forskning till produkt, vilket gör att tekniken kommer att få verklig påverkan. Det gör det än mer brådskande att på allvar ta tag i frågan om partisk ai, anser Joy Buolamwini.

Hon ser hur medvetenheten om problemen med ai har blivit större, bland annat tack vare medierapporteringen. Ett grävande reportage av journalisten Julia Angwin kunde visa att ett system som skulle förutse risken för återfallsbrott i högre grad pekade ut svarta än vita, men att det ofta slog fel.

Ett annat exempel är Google Translate som kan översätta neutrala begrepp på ett språk till könskodade varianter på ett annat. Du kan då få resultat som "han är läkare" eller "hon är sjuksköterska". Verktyget reflekterar en samhällssyn, som maskiner tränas i.

Att den här typen av färgade resultat uppmärksammas allt mer ökar pressen på företagen som arbetar med ai. Joy Buolamwini berättar att hon har fått frågor från investerare som undrar om det är värt att satsa pengar på mjukvaror för ansiktsigenkänning nu när det har visat sig finnas många problem med tekniken. Mycket står på spel.

-Vi har företag som har gjort enorma framtidsinvesteringar, som har bestämt i vilken riktning deras produkt- och tjänsteutveckling ska ske. Om vi inte ens kan lita på att de här systemen fungerar bra, om det finns en oro för att dessa system kan missbrukas, då vill företagen definitivt engagera sig i frågan på något sätt.

Läs mer: Studie visar: Ansiktsigenkänning funkar bra – så länge du är vit och man

Joy Buolamwini har talat med utvecklare av mjukvara för ansiktsigenkänning och ser två huvudorsaker till att algoritmerna blir partiska: andra prioriteringar och bristande medvetenhet. Det finns ingenjörer som mycket väl känner till att systemen fungerar bättre på en viss grupp än en annan, men det har inte varit en prioriterad fråga.

-Tidigare kan en ingenjör ha utbrustit att ”detta är ett problem!”, men frågan nedprioriterades. När det nu finns en större allmän kunskap om bristerna finns också ett större tryck att faktiskt göra något åt saken. Så i vissa fall finns en viss nivå av medvetenhet, men det har inte varit en prioriterad fråga. I andra fall kan det vara väldigt välmenande människor, men som jobbar i väldigt homogena team och därför inte har kommit på tanken att ställa vissa frågor eller göra vissa typer av tester.

Företag som vill arbeta mer medvetet med ai behöver ha ett inkluderande tänk längs hela processen, från idé till färdig produkt, enligt Joy Buolamwini. Det gäller att fråga sig vem som inkluderas och vem som kan exkluderas av tekniken, vem som kan skadas och vem som kan gynnas.

– Den kodade blicken kan vara en reflektion av fördomar, men också en reflektion av våra ambitioner, prioriteringar och de preferenser som de som har makten att utveckla tekniken har. Vi vill ha diversifierade, inkluderande team, annars kommer vi få stora blinda fläckar. Som användare kan du be om transparens, och pressa företagen att ta större ansvar.

– Det här är en fråga om hur tekniken påverkar samhället. Det är viktigt att utvecklarna och ingenjörerna sätter det i en historisk och kulturell kontext, annars är det lätt att säga ”jag är bara ingenjör”. Du är inte bara ingenjör, du skapar en teknik som påverkar verkliga människors liv och då måste du tänka på de här frågorna.

Mer om Joy Buolamwini

Ai-forskaren Joy Buolamwini är grundare av organisationen Algorithmic Justice League som arbetar för opartisk ai. Hon har forskat om tekniker för social påverkan och inkludering vid MIT Media Lab. Hon är just nu doktorand vid lärosätet. Hennes Ted Talk om partiska algoritmer har visats nästan en miljon gånger.

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

Här är reglerna för kommentarerna på NyTeknik

  Kommentarer

Aktuellt inom

Debatt