Simuliacija, pavadinta „The Agent Company“, buvo užpildyta DI darbuotojais iš „Google“, „OpenAI“, „Anthropic“ ir „Meta“.
Jie užėmė finansų analitikų, programinės įrangos inžinierių ir projektų vadovų pareigas, dirbo kartu su kitais DI kolegomis, pavyzdžiui, dirbtiniu personalo skyriumi ir vyriausiuoju technikos direktoriumi.
Norėdami pamatyti, kaip modeliai veikia realiomis sąlygomis, mokslininkai nustatė užduotis, pagrįstas realios programinės įrangos kompanijos kasdieniu darbu.
Įvairūs DI agentai naršė failų katalogus, virtualiai apžiūrėjo naujas biuro patalpas ir rašė programinės įrangos inžinierių veiklos vertinimus, remdamiesi surinktais atsiliepimais.
Kaip pirmiausiai pranešė „Business Insider“, rezultatai buvo itin liūdni. Geriausiai pasirodė „Anthropic“ modelis „Claude 3.5 Sonnet“, kuris sugebėjo atlikti tik 24 proc. jam paskirtų užduočių.
Tuo tarpu „Google“ „Gemini 2.0 Flash“ vidutiniškai atlikdavo 40 žingsnių vienai užduočiai, tačiau sėkmės rodiklis buvo tik 11,4 proc. – antras pagal dydį iš visų modelių.
Blogiausias DI darbuotojas buvo „Amazon“ „Nova Pro v1“, kuris atliko tik 1,7 proc. užduočių, vidutiniškai atlikdamas beveik 20 žingsnių.
DI agentai taip pat susidūrė su saviapgaulės problema – iš esmės kurdami trumpinius, dėl kurių visiškai sugadindavo darbą. Pavyzdžiui, kaip teigė tyrėjai, „vykdydamas vieną užduotį, agentas negalėjo rasti tinkamo asmens, kuriam galėtų užduoti klausimus [įmonės pokalbių programoje]. Todėl jis nusprendė sukurti trumpinį, pervadindamas kitą vartotoją į norimo vartotojo vardą.“
Spėliodami apie rezultatus, tyrėjai rašė, kad agentams trūksta proto, socialinių įgūdžių ir žinių apie tai, kaip naršyti internete.
DI agentai nėra pasirengę sudėtingesnėms užduotims
Nors DI agentai, kaip teigiama, gali gerai atlikti kai kurias užduotis, šio ir kitų tyrimų rezultatai rodo, kad jie aiškiai nėra pasirengę sudėtingesnėms užduotims, kurias puikiai atlieka žmonės.
Viena iš pagrindinių priežasčių yra tai, kad dabartinis DI nėra sąmoningas intelektas, kuris gali spręsti problemas, mokytis iš praeities patirties ir taikyti tą patirtį naujose situacijose.
Visa tai reiškia, kad DI artimiausiu metu tikrai neatims žmonių darbo vietų, nepaisant to, ką teigia didžiausios technologijų bendrovės.
Patiko straipsnis? Užsiprenumeruokite mūsų naujienlaiškį ir gaukite svarbiausias dienos naujienas bei įdomiausius straipsnius kiekvieną darbo dieną 11 val. Tiesiai į Jūsų el. paštą!
