TECH
Open AI:s vd Sam Altman. Företaget Open AI ligger bakom den populära tjänsten Chat GPT.
Foto: AP/TT och Unsplash (montage)
Varningen från Open AI: biologiska vapen en risk med nya modellerna
Open AI har nya modeller på gång – som kan göra det enklare för amatörer att skapa biologiska vapen. Nu höjer företaget enligt egen utsago beredskapen.
Snabbare läkemedelsutveckling, bättre vaccin och nya hållbara bränslekällor. Det kan nya kraftfullare ai-modeller från Open AI och dess rivaler förhoppningsvis leda till.
Men samma teknik skulle också kunna användas för destruktiva syften. Open AI räknar med att deras kommande modeller kommer att klassas som ”hög risk”, enligt bolagets eget ramverk.
– Vi förväntar oss att några av efterföljarna till vår resonerande o3-modell når den nivån, säger Johannes Heidecke, chef för säkerhetssystem på Open AI, till Axios.
Det gäller specifikt risken för biologiska och kemiska vapen.
Den största farhågan gäller hur enkelt det kan bli för noviser att framställa biologi eller kemi som för tillfället kräver expertis.
Krävs perfektion
Än värre: det kan räcka med att en enda aktör lyckas.
– Det här är inte en situation där det räcker med att vara 99 procent framgångsrik, eller att det är okej att misslyckas en gång på hundratusen. Vi behöver i stort sett perfektion, säger Johannes Heidecke.
Open AI uppger att företaget övervakar användning av dess modeller för att upptäcka ”riskabla eller misstänksamma bio-relaterade aktiviteter”. Man samarbetar också med myndigheter och använder specialiserade säkerhetstestare tillsammans med domänexperter för att upptäcka eventuella brister i Open AI:s system.
Likväl kan Open AI inte kontrollera hur andra utvecklare av avancerade ai-modeller hanterar frågan – och många av dem ligger bara månader efter i utvecklingen.
Säkerhetskonferens
Därför ska företaget stå värd för en bioförsvarskonferens under juli månad, där frågan ska stötas och blötas med andra statsanställda forskare och ideella organisationer.
Tanken är att utforska hur man förbättra spårning av nukleinsyraframställning (som dna och rna), skapa robustare system för upptäckt av nya patogener och investering i säkerhetsinnovationer som kan ge långvarig motståndskraft mot biohot.