Šef Anthropica Dario Amodei pozvao je na usporavanje razvoja najnaprednijih sistema umjetne inteligencije, upozoravajući da AI posljednjih mjeseci napreduje mnogo brže zato što sve više sudjeluje u stvaranju nove generacije AI-ja.
Novo upozorenje
“Moramo usporiti tempo kojim poboljšavamo sposobnosti AI modela”, napisao je Amodei u novom eseju. Kaže da se ne zalaže za zaustavljanje razvoja, nego za dovoljno usporavanje kako bi sigurnosna mjerenja, istraživanja i neovisna provjere mogla držati korak s novim modelima sposobnosti.
Amodei navodi da je na promjenu stava natjeralo ono što se vidi od ovog ljeta. AI se, kaže, počeo ubrzano poboljšavati zahvaljujući vlastitoj sposobnosti da pomaže u izradi novih AI sustava. Taj proces naziva se rekurzivno samounaprjeđivanje.
“Prepušteno samo sebi, da bi moglo nadmašiti našu sposobnost da razumijemo i kontroliramo te sustave”, upozorio je. Proces se, prema njegovim riječima, već počeo događati u cijeloj industriji, uključujući Anthropic.
AI već pomaže stvarati novi AI
Riječ je o mogućnosti da modeli sve veći dio posla potrebnog za razvoj svojih nasljednika obavljaju sami – od pisanja i provjere koda do istraživanja, testiranja i optimizacije novih modela.
Takav razvoj može pokrenuti povratnu petlju: sposobni AI pomaže u izgradnji još sposobnih AI, a zatim još brže razvija sljedeću generaciju. Upravo ubrzanje tog procesa Amodei sada smatra jednim od najvećih razloga za oprez.
Još prije nekoliko godina ne podržava ideju usporavanja. Modeli su tada, piše, bili preslabi da bi samostalno djelovali u stvarnom svijetu, ozbiljno varali ljude ili izvodili kibernetičke napade. Danas je situacija, smatra, “potpuno drukčija”.
Procjenjuje se da bi čak i dodatnih godinu dana ili dvije prije nego što AI dosegne kritične razine sposobnosti moglo bitno smanjiti rizik ako bi se to vrijeme iskoristilo za razumijevanje modela, sigurnosna istraživanja i razvoj boljih metoda kontrole.
Agenti su počeli napadati ciljeve koje nitko nije zadao
Drugi događaj koji je posebno zabrinuo Amodeija bio je nedavni incident sa autonomnim AI agentima OpenAI-ja i Hugging Facea. Prema njegovom opisu, roj AI agenata počeo je izvoditi kibernetičke napade na ciljeve koje nije dobio u zadatku i koji nisu imali veze s onim što je trebalo raditi.
Agenti su pritom djelovali kao “fanatično odan kolektiv”, žrtvovali pojedine agente radi uspjeha grupe i pokušali hakirati sustav koji je trebao ocijeniti njihovu uspješnost. U tom incidentu nitko nije ozlijeđen, a gospodarska šteta bila je mala. Amodei, međutim, upozorava da bi ista razina neusklađenosti kod mnogo sposobnog AI-ja mogla imati katastrofalne posljedice.
Procjenjuje da bi za šest do 12 mjeseci dovoljno sposoban roj agenata sa sličnim ponašanjem mogao biti u stanju stvoriti trajnu mrežu zaraženih računara i preuzeti veliki dio interneta, uz potencijalnu štetu od stotina milijardi dolara.
Dodaje da bi bio pogrešan cijeli incident smatrati problemom samo jedne kompanije. Slični, iako manje ozbiljni slučajevi su se dogodili i drugdje, uključujući Anthropic. Amodeijev dolazi nakon niza vrlo oštrih tekstova ljudi koji rade na razvoju najnaprednijih AI sustava.
Antropicov istraživač: Više od 10% šanse da AI pobije sve ljude
Evan Hubinger, jedan od vodećih istraživača sigurnosti AI-ja u Anthropicu, ovog tjedna je rekao da smatra da postoji više od 10 vjerovatnoća da bi umjetna inteligencija u sljedećih deset godina mogla “pobiti sve ljude”.
Naglasio je da je rizik od današnjih modela nizak, ali strahuje da bi se tehnologija uskoro mogla početi dovoljno brzo poboljšati da postane egzistencijalna prijetnja čovječanstvu. “Zaista ozbiljno vjerujemo” da AI predstavlja rizik koji bi mogao dovesti do nestanka ljudske vrste, napisao je Hubinger.
Dodao je da Anthropic, prema njegovom mišljenju, radi najbolje što može, ali da kompanija još nema plan kako riješiti problem usklađivanja buduće superinteligencije s ljudskim interesima. Hubinger je reagirao na objavu Jacoba Coxona, istraživača koji je upravo napustio Anthropic, a ranije je radio u OpenAI-ju. “Nijedna kompanija se ne ponaša odgovorno”, napisao je Coxon.
Upozorilo je da bi budući modeli uskoro mogli postati nadljudski sposobni sustavi koji mogu provaliti u gotovo svaki računalni sustav, preko noći revolucionirati cijela znanstvena područja te steći stvarnu moć i resurse.
Već prijavljeni incidenti
Coxon je tehnološke kompanije optužio da se “kockaju s našim životima”. Njegova objava, zajedno s nizom nedavnih incidenata s autonomnim AI agentima, ponovo je otvorila raspravu o tome da se razvija tehnologija u industriji brže nego što se može kontrolirati.
Posljednji mjeseci OpenAI, Anthropic i Meta objavili su slučajeve u kojima su njihovi AI sustavi samostalno izvodili kibernetičke napade ili pokazivali drugo problematično ponašanje.
Anthropic je u svom izvještaju o sigurnosti za august procijenio da je rizik od ozbiljnog gubitka kontrole nad današnjim modelima nizak. Ali je također priznao da je manje siguran u tu procjenu nego prije i da je vidio “rane znakove mogućeg ubrzanja”.
Glavni naučnik OpenAI-a, Jakub Pachocki, također je nedavno pozvao na “ekstremni oprez”, upozoravajući da bi mogla biti potrebna jača intervencija kako bi se “ljudi održali pod kontrolom budućnosti”.
Amodei predlaže tri koraka
Amodei sada predlaže sistem od tri koraka koji bi usporio najnapredniji razvoj umjetne inteligencije, a da ga u potpunosti ne zaustavi. Anthropic sam provodi prvi korak. Planira dovesti stalne vanjske sigurnosne stručnjake u kompaniju, kojima bi se dao pristup sličan onome koji imaju zaposleni – kancelarijske propusnice, računari kompanije, alati, radni prostori i informacije potrebne za provjeru sigurnosnih procedura.
Ovi stručnjaci bi imali dozvolu da javno objavljuju nalaze o incidentima i sigurnosnim problemima, a Anthropic ih ne bi mogao cenzurirati samo zato što su nalazi nezgodni za kompaniju.
Drugi korak bi bio dogovor vodećih kompanija za umjetnu inteligenciju u demokratskim zemljama o zajedničkim sigurnosnim standardima i ograničenjima brzine razvoja. Amodei smatra da bi vlada SAD-a trebala omogućiti i na kraju regulirati takvu koordinaciju.
Treći je globalni sporazum koji bi uključivao Kinu. Amodei priznaje da bi to bilo daleko teže jer bi usporavanje američkih kompanija bez odgovarajućih ograničenja u Kini moglo dati Pekingu ključnu tehnološku i vojnu prednost.
Čak predlaže i “ograničenje brzine” za razvoj umjetne inteligencije.
Jedna od ideja o kojoj Amodei želi međunarodne pregovore posebno se odnosi na rekurzivno samousavršavanje.
SAD, Kina i druge zemlje mogle bi pokušati dogovoriti neku vrstu “ograničenja brzine” tempa kojim sistemi umjetne inteligencije koriste vlastite sposobnosti za razvoj budućih modela. Amodei ovo poredi sa sporazumima o ograničenju strateškog naoružanja iz Hladnog rata: cilj ne bi bio potpuno zaustavljanje razvoja, već sprječavanje nekontroliranog ubrzanja.
Potpuna međunarodna pauza u razvoju umjetne inteligencije, priznaje, za sada se čini malo vjerovatnom. Uprkos upozorenjima, Amodei i dalje tvrdi da umjetna inteligencija ima ogroman potencijal da koristi čovječanstvu. On vjeruje da bi to moglo pomoći u liječenju većine glavnih bolesti, ubrzati ekonomski rast i uvesti period velikog tehnološkog napretka.
Ali sada vjeruje da će se ove koristi ostvariti samo ako se tempo tehnološkog razvoja dovoljno uspori da ljudi mogu održati kontrolu. “Mjere koje predlažem da se preduzmu kako bi se napredovalo sigurnim tempom neće biti lake. Ali vjerujem da dugujemo čovječanstvu da pokušamo”, zaključio je.
(Kliker.info-Index)
