Hon kämpar för opartiska algoritmer

En programvara för ansiktsigenkänning lyckas upptäcka alla ansikten utom ett – ai-forskaren Joy Buolamwinis. Skälet är att de som har tagit fram applikationen inte har tagit hänsyn till alla olika hudtoner som finns. De har bara utgått från de ljusaste.

Det här är bara ett av flera exempel på krocken mellan de enorma förhoppningar som finns på ai och hur långt det faktiskt är kvar tills tekniken klarar av att göra opartiska bedömningar. Ai utgår från algoritmer som både omedvetet och medvetet påverkas av vilka som skriver dem. Det här är något som Joy Buolamwini har tittat närmare på i sin forskning vid MIT Media Labs, som hon berättade om på Women in Tech-eventet i Stockholm i förra veckan.

För Ny Teknik berättar hon att antagandet att maskiner är neutrala kan orsaka mer skada i dag än tidigare. Du kan till exempel hamna i rekryteringsprocesser, men aldrig bli uppringd på grund av ett beslut som en maskin har tagit, baserat på otillräcklig information.

– Hur ska du kunna veta om att det är så, om du inte känner till att det här problemet finns?

Och hur ska de som rekryterar veta att det är så här det fungerar? De förlitar sig kanske också på att processen verkligen är objektiv?

– Ja, precis. Du får en värld som bygger på okunnighet, baserad på en tro att systemet, tekniken och maskinerna vi använder är rättvisa. Men så är inte alltid fallet. Det är också därför jag studerar frågor om rättvisa, ansvar och transparens inom artificiell intelligens, säger Joy Buolamwini.

Hon ser hur medvetenheten om problemen med ai har blivit större de senaste åren, bland annat tack vare medierapporteringen. Ett grävande reportage av journalisten Julia Angwin kunde visa att ett system som skulle förutse risken för återfallsbrott i högre grad pekade ut svarta än vita, men att systemet ofta slog fel.

Ett annat exempel är Google Translate som kan översätta neutrala begrepp på ett språk till könskodade varianter på ett annat. Du kan då få resultat som ”han är läkare” eller ”hon är sjuksköterska”. Verktyget speglar en samhällssyn, som maskiner tränas i.

Att den här typen av färgade resultat uppmärksammas alltmer ökar pressen på företagen som arbetar med ai. Joy Buolamwini berättar att hon har fått frågor från investerare som undrar om det är värt att satsa pengar på programvaror för ansiktsigenkänning nu när det har visat sig finnas många problem med tekniken. Mycket står på spel.

– Vi har företag som har gjort enorma framtidsinvesteringar, som har bestämt i vilken riktning deras produkt- och tjänsteutveckling ska ske. Om vi inte ens kan lita på att de här systemen fungerar bra, om det finns en oro för att dessa system kan missbrukas, då vill företagen definitivt engagera sig i frågan på något sätt.

Joy Buolamwini har talat med utvecklare av programvara för ansiktsigenkänning och ser två huvudorsaker till att algoritmerna blir partiska. Det finns ingenjörer som mycket väl känner till att systemen fungerar bättre på en viss grupp än en annan, men det har inte varit en prioriterad fråga. I andra fall kan det vara välmenande människor som har utvecklat teknikerna, men som jobbar i homogena team och därför inte har kommit på tanken att ställa vissa frågor eller göra vissa typer av tester.

Utan diversifierade, inkluderande team kommer det att fortsätta finnas stora, blinda fläckar, menar Joy Buolamwini.

– Det är viktigt att sätta tekniken i en historisk och kulturell kontext och se hur vi har påverkats på olika sätt, annars är det lätt att säga ”jag är bara ingenjör”. Du är inte bara ingenjör, du skapar en teknik som påverkar verkliga människors liv och då måste du tänka på de här frågorna.