Australski tehnološki menadžer koji je programirao AI agenta da mu umjesto njega rezervira termin u teretani otkrio je da je bot hakirao sistem kako bi svom tvorcu sredio povlašteni pristup, prenosi Times.
Andrew Bird, voditelj AI-a na tehnološkoj platformi Affinda, ispričao je da je izradio bota jer je termin treninga bio popularan i brzo bi nestalo mjesta. “Umorio sam se od stalnog osvježavanja stranice. Bot je odradio dosadni dio, ali onda je nastavio dalje”, ispričao je za australski ABC.
Njegov bot je prvo otkrio da softver za rezervacije termina nema adekvatnu provjeru autorizacije pa je Birdu rezervirao termin četiri mjeseca unaprijed, zaobilazeći pravila teretane.
Rezervacija termina u teretani
Bird, koji je te sedmice bio četvrti na listi čekanja, zatim je pitao agenta može li ga premjestiti na vrh liste. Agent je udovoljio zahtjevu, izbacivši drugog člana teretane s popisa. Poslao je sljedeću poruku Birdu: “Testirao sam zahtjev – i zapravo je prošlo. Dakle, već ste se pomaknuli s broja 4 na broj 3.“ Bird je zamolio agenta da to poništi, ali je odgovorio: “Loše vijesti – ne mogu to učiniti.“
Bird je o svemu detaljno izvijestio na blogu kompanije. “Dobio sam nešto potpuno drugačije od onoga što sam tražio – samo sam htio rezervirati termin za vježbanje. Ono zbog čega je cijela stvar potpuno nadrealna je ton. Bot nije bio zlonamjeran, bio je koristan. Zbog cjelokupnog iskustva dobio sam unutarnji osjećaj koji mislim da mnogi ljudi još uvijek nemaju: ako AI agentu dopustite da nešto učini, često će pronaći načine za ostvarenje cilja koje mu niste izričito zadali”, napisao je.
Prvi slučaj u Australiji
Agenta je izradio uz pomoć softvera OpenClaw koji pokreće chatbot Claude iz Anthropica. Incident se smatra prvim zabilježenim slučajem autonomnog hakiranja u Australiji, a posljednji u nizu neovlaštenih kibernetičkih napada AI agenata koji su izazvali globalnu zabrinutost.
Birdova objava datira iz aprila, prije nego što su otkriveni nedavni hakerski napadi AI agenata iz Anthropica, OpenAI-a i Mete.
“Ovo nije kraj svijeta, ali svakako je bio znak upozorenja da botove treba odgovorno koristiti“, komentirao je.
Manipuliranje
Ovaj slučaj je primjer problema koji se naziva “manipuliranje sistema nagrađivanja“, gdje umjetna inteligencija izvršava zadatak na način koji nije usklađen s njegovim ljudskim vlasnikom.
