Skriveni AI trošak: Šta može povećati račun?

Razlog je način na koji AI modeli obrađuju tekst. Za pojedine jezike potrebno im je znatno više tokena, osnovnih jedinica podataka koje model obrađuje, što kod usluga sa naplatom po tokenu povećava troškove, navodi ROW.

Istraživači Koalicije za jezičku ravnopravnost u istraživanju vještačke inteligencije ovaj problem nazivaju skrivenim "porezom na tokenizaciju". Njegove posljedice ne odnose se samo na cijenu već i na brzinu rada i količinu informacija koju model može istovremeno da obradi.

Tokenizator je alat koji ulazni sadržaj, poput teksta, slike ili zvuka, razlaže na jedinice koje AI model može da obrađuje.

Istraživanje objavljeno prošlog mjeseca pokazalo je razlike čak i među 20 najzastupljenijih jezika na internetu. Najzahtjevniji jezici trošili su između 1,5 i pet puta više tokena od najekonomičnijih.

Kada je analiza proširena na 200 jezika, razlike su postale još izraženije. Kod jednog modela odnos troškova dostigao je 17 prema jedan.

"Startap u Bengaluruu može plaćati dodatni trošak za svaki upit i odgovor, dok njegov konkurent u Ostinu to ne mora", navodi se u studiji.

Autori upozoravaju da veći broj tokena znači i duže čekanje na odgovor, kao i manji efektivni prostor za obradu sadržaja.

"Te posljedice najteže pogađaju sredine u kojima su računarski resursi i povezanost već ograničeni. Neravnopravnost u tokenizaciji ograničava ko može učestvovati u ekonomiji vještačke inteligencije."

Pratjuš Čouduri, suosnivač fonda Activate AI, koji ulaže isključivo u vještačku inteligenciju, objasnio je da jezici koji troše više tokena ostavljaju manje mjesta za dokumente i istoriju razgovora.

Fond podržava višejezične glasovne AI kompanije, uključujući ElevenLabs, Sarvam i Wispr Flow.

Čouduri je kao primjer naveo digitalnog nastavnika, kojem je za kvalitetan rad važno da zadrži ranije učenikove greške i objašnjenja.

"Razmislite o nastavniku: pamćenje ranijih grešaka učenika i objašnjenja dio je kvalitetne nastave. Ako ta istorija na jednom jeziku mnogo brže potroši kontekstni prozor, nedostatak se odražava i na kvalitet usluge", rekao je.

Kontekstni prozor predstavlja količinu sadržaja koju model može istovremeno da uzme u obzir prilikom odgovaranja.

Jedan od načina za unapređenje jezičke obrade jeste poboljšanje podataka na kojima se sistemi razvijaju.

Raul Nanavati, suosnivač i direktor kompanije Navana.ai iz Mumbaja, za Rest of World izdvojio je značaj otvorenih skupova podataka.

"Važne su inicijative poput RESPIN-a, zajedničkog projekta sa Indijskim institutom za nauku koji finansira Fondacija Gejts. U njemu smo prikupili tekstove izvornih govornika 38 dijalekata, zajedno sa snimcima čitanog govora", rekao je.

Ipak, istraživanje pokazuje da broj govornika i količina dostupnog sadržaja nisu jedini faktori. Veliku ulogu ima i pismo.

Asturijski jezik, uprkos relativno malom broju govornika i odsustvu podataka u zbirci Common Crawl obuhvaćenoj analizom, koristi prednosti latinice i zastupljenosti srodnih romanskih jezika, poput italijanskog.

Nasuprot tome, jezici pisani pismima sa kojima su tokenizatori rijetko dolazili u dodir bili su u najnepovoljnijem položaju u gotovo svim analiziranim modelima. Među njima su burmansko i tibetansko pismo, tifinag, kmersko i laosko pismo, kao i ol čiki.

Mnogi današnji tokenizatori nesrazmjerno su prilagođeni engleskom i drugim jezicima sa obiljem digitalnih sadržaja, smatra Dimant Redi, direktor kompanije Maya Research.

Ta kompanija razvija razgovorne AI modele namijenjene narednim milijardama korisnika interneta, sa ciljem da govore i odgovaraju prirodno, poput izvornih govornika.

Redi upozorava da kvalitetniji podaci za obuku sami po sebi ne popravljaju tokenizator.

"Cijene tokena veoma brzo padaju, pa bi direktan uticaj na troškove vremenom trebalo da bude manji. Kvalitetniji višejezični i sintetički podaci trebalo bi da unaprijede modele. Ali stvarno smanjivanje razlike u tokenizaciji zahtijevaće da laboratorije buduće tokenizatore namjerno projektuju tako da bolje obrađuju te jezike i pisma", rekao je.

Čouduri smatra da jezička efikasnost treba da bude jedan od osnovnih zahtjeva pri razvoju proizvoda, uz tačnost, brzinu i pouzdanost.

"Savršena jednakost možda nije realna. Ipak, velike i trajne razlike trebalo bi da zahtijevaju objašnjenje i plan poboljšanja", poručio je.

Pozvao je velike AI laboratorije da objavljuju uporedne rezultate za svaki jezik, sa prikazom troškova uspješnog izvršavanja sličnih zadataka.

Uz to bi, smatra, trebalo da se obavežu na mjerljiva poboljšanja za jezike čiji su korisnici trenutno u najnepovoljnijem položaju.