Ai-professor: Det ska framgå om man talar med en maskin

2021-04-23 15:12  

En modig och ambitiös plan, men det finns brister, säger ai-professor Virginia Dignum om EU:s förslag för reglering av ai. Regleringarna kan främja innovationer i industrin, säger Elena Fersman, Ericsson.

I veckan presenterade EU-kommissionen sitt uppmärksammade förslag till reglering av artificiell intelligens för unionens 27 medlemsländer.

EU-ramverket har beskrivits som det första i sitt slag, där utveckling och användning av ai ska främjas – så länge det inte sker på bekostnad av säkerhet, tillit och inskränkningar i den enskilda individens rättigheter.

– Med detta försöker EU ta kommandot och vill säkerställa att användningen av artificiell intelligens är förenlig med mänskliga rättigheter och europeiska värderingar. Det är ett mycket viktigt steg i arbetet med att se till att ai används för att göra samhället bättre, till skillnad från att företag ska tjäna pengar, säger Virginia Dignum.

Lagförslaget är på ett antal punkter kompromisslöst. Ai-system som används i syfte att manipulera människor – utan att de är medvetna om sådan påverkan – att ändra sitt beteende så att det kan orsaka skada för dem själva eller andra ska förbjudas.

Läs mer: Nya spelregler ska skydda mot skadlig ai

Likaså vill EU göra processen kort med alla former av den sortens sociala kreditsystem som Kina blivit ökänt för. Ur förslaget: ”Ai-system framtagna av eller åt myndigheter för att utvärdera eller klassa en persons trovärdighet över tid baserat på personens sociala beteenden, eller kända eller förutspådda personlighet eller karaktär, med en social poängsättning, ska inte vara tillåtet.”

Grumligt om ansiktsigenkänning

När det gäller användning av biometrisk identifiering på avstånd i realtid (som med exempelvis ansiktsigenkänning) är ramverket desto grumligare.

Metoden är listad under sådant som ska vara förbjudet, men är samtidigt behäftad med en hel hoper undantag. En passage bland dessa tycks medge att en polisiär myndighet kan använda biometrisk identifering på eget bevåg, och utan auktorisering av en rättskipande instans, om ”situationen verkligen är akut”.

Virginia Dignum tycker att det finns situationer när biometrisk identifiering kan vara användbart.

– Om det gäller ett barn som blivit kidnappat och säljs på nätet så kan ansiktsigenkänning vara mycket värdefullt. Men det gäller att hitta rätt balans.

Läs mer: Intern EU-strid om artificiell intelligens

När det gäller alla andra former av utveckling och användning av artificiell intelligens så är EU-förslaget indelat i tre riskområden, där lågriskapplikationer som spamfilter troligtvis inte kommer att regleras. EU betonar att de allra flesta ai-applikationer kan anses vara av lågrisktyp.

Risknivån ovanför den – så kallad ”begränsad risk” – kan röra exempelvis chatbotar eller deepfake-framställning. Den typen av applikationer måste vara transparenta för användaren, som genast ska förstå att den interagerar med en maskin.

För alla som sysslar med det EU bedömer vara högriskområden inom ai väntar dock strikt reglering. Det gäller till exempel artificiell intelligens som används i kritiska infrastrukturer (som transporter), utbildning, där ai-system skulle kunna påverka personers tillgång till utbildning och framtida yrken, privata och offentliga tjänster (som bedömning av kreditvärdighet) och hantering av asyl och migration.

I sådana tillämpningar kommer det att finnas en rad skyldigheter. Det kommer bland annat att krävas dataset av ”hög kvalitet” för att minimera diskriminerande resultat. Loggning, spårbarhet och detaljerad dokumentation med all nödvändig information om systemet ska vara tillgängligt för myndigheter som ska kontrollera att kraven uppfylls. Användaren ska ges tydlig och tillräcklig information och nivån av robusthet, säkerhet och noggrannhet ska vara hög.

Det är kort sagt som ett gdpr för artificiell intelligens.

Potentiella bakdörrar i förslaget

Frågan är bara vad artificiell intelligens egentligen är. Kommer företag som utvecklar och tillverkar teknik på det här området – och som tidigare använt begreppet ai i sin marknadsföring – kunna hävda att de i själva verket inte alls sysslar med artificiell intelligens och därför ska undantas från reglerna?

Virginia Dignum för sin del är åtminstone bekymrad över vad hon kallar ”bakdörrar” i förslaget.

– Ja, potentiellt går det att tänka sig att det skulle kunna gå att undgå regleringarna på så sätt. Därför hade det varit bättre att fokusera på konsekvenserna av tekniken, snarare än vad vi väljer att beteckna den som, säger hon.

Virginia Dignum tycker också att EU har lagt för stor vikt på hur bolag som bryter mot reglerna kan bestraffas med böter. I värsta fall kan ett företag tvingas betala 6 procent av sin årliga omsättning eller 30 miljoner euro.

– Ja, jag tycker att man borde ha fokuserat mer på fördelarna med förslaget. Alla möjligheter. Med det här kan ett företag visa att det är annorlunda jämfört med konkurrensen, med ett fokus på säkerhet, tillit och människocentrerade värderingar.

Mellan det här ramverket till lagförslag och att lagen faktiskt börjar tillämpas finns dock möjligheter att slipa på formuleringarna. Och Virginia Dignum, en av de mest tongivande rösterna när det gäller etisk ai, är en av dem som kommer att försöka påverka lagstiftarna att gå i en lämpligare riktning.

– Det är definitivt ett mycket bra första steg, men nu behöver vi syna alla detaljer. Det finns utrymme till förbättring. Det är viktigt för Europa att ha en stark röst i världen. En egen röst. Vi ska inte bara följa efter alla andra.

Ericssons ai-chef: Viktigt reglera användning

Elena Fersman är forskningschef för området artificiell intelligens på Ericsson samt adjungerad professor inom cyberfysiska system vid KTH. Hon ser att ai med fördel kan användas inom många industrier. Och precis som med många andra tekniker är det viktigt med reglering, för att se till att ai används på ett säkert sätt.

Hon beskriver hur den som laddar ner programvara på sin dator eller telefon vill vara säker på att den inte får med sig oönskade beteenden. Det här är ännu viktigare när vi pratar om säkerhetskritiska industrier, som bilindustrin eller medtech. Man ska kunna förlita sig på programvaran, och därför finns det certifieringar för programvaror på olika nivåer.

– Och på liknande sätt ska man kunna veta att ai-algoritmer inte tillför oönskade beteenden i de sammanhang de sätts in. Har en modell tränats på felaktig data så kommer algoritmen komma med felaktig beslutsstöd och såna situationer kan undvikas genom att reglera användandet av ai på olika nivåer, säger Elena Fersman.

Finns det i ditt tyckte några uppenbara fördelar eller nackdelar med förslaget?
– En av fördelarna med förslaget är att genom att reglera införandet av ai i industrier kan man, hur konstigt det kan låta, främja innovationen. Utan reglering kan högriskindustier inte förlita sig på tredjepartsutvecklare. Har man ett sätt att certifiera en algoritm och garantera att den inte medför oönskade beteenden kan man vara trygg när man använder den.

En annan fördel som Elena Fersman ser är att algoritmerna runt oss kommer att vara med tillförlitliga, och att samhället kommer att ha större acceptans för ai.

– Detta kan dock innebära lägre effektivitet och långsammare marknadsintroduktion för ai-lösningarna, säger hon.

Ser du att förslaget kan komma att påverka Ericssons arbete med artificiell intelligens på något sätt?
– Ericsson har alltid lagt en stor vikt på mjukvarutestning och validering, och har varit tidiga med arbete inom tillförlitlig ai. När EU:s riktlinjer för pålitlig ai blev framtagna tog vi beslutet att följa dessa i alla våra produkter och tjänster vilket gör oss väl förberedda för den nya regleringen. Vi har sedan länge engagerat oss djupt i forskning och utveckling av säkerhet, transparans och förklarbarhet av ai, och integritetsbevarande tekniker för data, säger Elena Fersman.

Mer om Virginia Dignum

Virginia Dignum är professor i artificiell intelligens med inriktning mot social och etisk ai vid Institutionen för datavetenskap vid Umeå universitet. Hon är programdirektör för WASP-HS, The Wallenberg AI, Autonomous Systems and Software Program – Humanities and Society. Hon är en deltagare i European Artificial Intelligence Association (EURAI), medlem av Europeiska kommissionens expertgrupp för artificiell intelligens, World Economic Forums Global Artificial Intelligence Council, verkställande kommittén för IEEE Initiative on Ethically Aligned Design och en av grundarna av ALLAI-NL i Nederländerna.

Peter Ottsjö

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer

Debatt