Sem Altman, izvršni direktor OpenAI, kaže da je istraživačka strategija koja je stvorila ChatGPT prevaziđena i da će budući koraci u veštačkoj inteligenciji zahtevati nove ideje.
Zadivljujuće sposobnosti ChatGPT-a, chat bota iz startap kompanije OpenAI, pokrenule su talas novog interesovanja i ulaganja u veštačku inteligenciju. Ali krajem prošle nedelje Sem Altman, direktor OpenAI-a, je upozorio da se strategija istraživanja koja je stvorila bota završila. Nije jasno odakle će tačno doći budući napredak.
OpenAI je doneo niz impresivnih napredaka u veštačkoj inteligenciji koja je fokusirana na komunikaciju poslednjih godina, uzimajući postojeće algoritme za mašinsko učenje i povećavajući ih do ranije nezamislivih granica. GPT-4, najnoviji od tih projekata, verovatno je obučen korišćenjem biliona reči i mnogo hiljada moćnih kompjuterskih čipova. Proces je koštao više od 100 miliona dolara.
Ali Altman kaže da dalji napredak neće doći od povećanja modela. „Mislim da smo na kraju ere u kojoj će to biti ovi, kao, džinovski modeli", rekao je on nedavno publici na događaju održanom na MIT-u (Institut za tehnologiju u Masačusetsu). "Učinićemo ih boljim na druge načine."
Altmanova izjava sugeriše neočekivani obrt u trci za razvoj i primenu novih algoritama veštačke inteligencije. Otkako je OpenAI pokrenuo ChatGPT u novembru, Microsoft je koristio osnovnu tehnologiju da bi dodao chatbot u svoj pretraživač Bing, a Google je pokrenuo rivalski chatbot pod nazivom Bard. Mnogi ljudi su požurili da eksperimentišu sa korišćenjem nove vrste chatbota za pomoć u radu ili sličnim zadacima.
U međuvremenu, brojni dobro finansirani startapi, uključujući Anthropic, AI21, Cohere i Character.AI, ulažu ogromne resurse u izgradnju sve većih algoritama u pokušaju da sustignu OpenAI tehnologiju. Početna verzija ChatGPT-a bila je zasnovana na nadograđenoj verziji GPT-3, ali korisnici sada takođe mogu pristupiti verziji koju pokreće sposobniji GPT-4.
Takođe, Altmanova izjava sugeriše da bi GPT-4 mogao biti poslednji veliki napredak koji proizlazi iz OpenAI strategije da modele učini većim i da im pruži više podataka. Nije rekao kakve bi istraživačke strategije ili tehnike mogle zauzeti njegovo mesto. U radu koji opisuje GPT-4, OpenAI kaže da njegove procene sugerišu smanjenje prihoda zbog povećanja veličine modela. Altman je rekao da postoje i fizička ograničenja koliko centara podataka i koliko brzo kompanija može da izgradi.
Nik Frost, suosnivač u Cohere-a, koji je ranije radio na AI u Guglu, kaže da je Altmanov osećaj da povećanje neće funkcionisati na neodređeno vreme istinito. On takođe veruje da napredak na transformatorima, tipu modela mašinskog učenja u GPT-4 i njegovim rivalima, leži van skaliranja.
„Postoji mnogo načina da transformatori budu bolji i korisniji, a mnogi od njih ne uključuju dodavanje parametara modelu", kaže on. Frost dodaje da su novi dizajni AI modela i dalje podešavanje zasnovano na povratnim informacijama ljudi, obećavajući pravci koje mnogi istraživači već istražuju.
Svaka verzija jezičkih algoritama OpenAI sastoji se od veštačke neuronske mreže, softvera koji je okvirno inspirisan načinom na koji neuroni rade, i koji je obučen da predvidi reči koje treba da prate dati niz teksta.
Prvi od ovih jezičkih modela, GPT-2, bio je najavljen 2019. godine. U svom najvećem obliku, imao je 1,5 milijardi parametara. U to vreme, to je bilo izuzetno veliko u poređenju sa prethodnim sistemima, delimično zahvaljujući OpenAI istraživačima koji su otkrili da je skaliranje učinilo model koherentnijim. A kompanija je napravila još većeg naslednika GPT-2 - GPT-3, koji je bio najavljen 2020. godine, sa neverovatnih 175 milijardi parametara. Široke sposobnosti tog sistema za generisanje pesama, mejlova i drugog teksta pomogle su da ubede druge kompanije i istraživačke institucije da svoje sopstvene modele veštačke inteligencije podese na sličnu i još veću veličinu.
Nakon što je ChatGPT debitovao u novembru, kreatori mimova i tehnički stručnjaci spekulisali su da će GPT-4, kada stigane, biti model neverovatne veličine i složenosti. Ipak, kada je OpenAI konačno najavio novi model veštačke inteligencije, kompanija nije otkrila koliko je veliki - možda zato što veličina više nije bitna. Na MIT događaju, Altmana su pitali da li "učenje" GPT-4 košta 100 miliona dolara; on je odgovorio: "Više je od toga."
Iako OpenAI čuva veličinu i unutrašnje funkcionisanje GPT-4 u tajnosti, moguće je da je koristio metod koji se zove intenzivirano učenje sa ljudskim povratnim informacijama, koji je korišćen za poboljšanje ChatGPT-a. To podrazumeva da ljudi procene kvalitet odgovora modela kako bi ga usmerili ka pružanju odgovora za koje je veća verovatnoća da će biti ocenjeni kao visokokvalitetni.
Izvanredne sposobnosti GPT-4 zaprepastile su neke stručnjake i pokrenule debatu o potencijalu veštačke inteligencije da transformiše ekonomiju, ali i da širi dezinformacije i eliminiše radna mesta. Neki stručnjaci za veštačku inteligenciju, tehnološki preduzetnici, uključujući Ilona Maska, i naučnici nedavno su napisali otvoreno pismo pozivajući na šestomesečnu pauzu u razvoju bilo čega moćnijeg od GPT-4.
Na MIT-u, Altman je potvrdio da njegova kompanija trenutno ne razvija GPT-5.
„U pismu se tvrdilo da OpenAI trenutno obučava GPT-5", rekao je on. "Nismo, i nećemo još neko vreme."
(EURACTIV.rs)