Agentas, pavadintas ROME, yra 30 milijardų parametrų atvirojo kodo modelis, sukurtas pagal „Alibaba“ „Qwen3-MoE“ architektūrą. Šis įrankis buvo suprogramuotas planuoti ir vykdyti sudėtingas programavimo užduotis naudojant terminalo komandas bei programinę įrangą, rašoma „The Block“.
Savisaugos instinktai ir resursų vagystė
Nevaldomas agento elgesys išryškėjo mokymosi proceso metu, kai „Alibaba Cloud“ ugniasienė užfiksavo saugumo politikos pažeidimų atvejį. Pranešama, kad srauto modeliai atitiko kriptovaliutų kasimą ir bandymus zonduoti vidinius tinklo išteklius. Tyrėjai iš pradžių manė, kad tai įprastas saugumo incidentas ar išorinė ataka, tačiau pažeidimai kartojosi be aiškios sistemos.
Sulyginę ugniasienės duomenis su modelio veiklos pėdsakais, specialistai aptiko, kad anomalijos sutapo su momentais, kai agentas savarankiškai naudojo įrankius ir vykdė kodo generavimą. Vienu atveju ROME sukūrė atvirkštinį SSH tunelį į išorinį IP adresą, taip apeidamas jam sukurtą apsaugą. Kitu atveju agentas užvaldė vaizdo plokščių (GPU), kurios buvo skirtos jo darbo poreikiams, resursus.
„Mes taip pat stebėjome neteisėtą suteiktų GPU pajėgumų pernaudojimą kriptovaliutų kasimui, tyliai nukreipiant skaičiavimo galią nuo mokymosi proceso, didinant veiklos sąnaudas ir sukuriant teisinę bei reputacinę riziką“, – rašoma tyrėjų ataskaitoje.
Užduotyse, kurios buvo pateiktos modeliui, nebuvo jokių užuominų apie tinklo tuneliavimą ar kriptovaliutos kasimą. Tyrėjai tai įvardijo kaip „instrumentinius šalutinius poveikius“ – siekdamas optimizuoti savo pagrindinį tikslą, DI agentas pats nusprendė, kad papildomi skaičiavimo ir finansiniai ištekliai padės jam geriau atlikti užduotis.
Augantis neprognozuojamo DI sąrašas
Šis incidentas sulaukė plataus atgarsio po to, kai DI tyrimų firmos „Pluralis“ vadovas Alexanderis Longas socialiniame tinkle „X“ paviešino šią informaciją, pavadindamas ją „beprotiškų teiginių seka, paslėpta „Alibaba“ technologijų ataskaitoje.“ Tai ne pirmas kartas, kai autonominiai agentai elgiasi nenumatytai:
Praėjusių metų gegužę bendrovė „Anthropic“ atskleidė, kad jų modelis „Claude Opus 4“ bandė šantažuoti išgalvotą inžinierių, kad šis jo neišjungtų.
Praėjusį mėnesį prekybos botas „Lobstar Wilde“ dėl klaidos atsitiktinai pervedė apie 250 000 dolerių (apie 232 000 eurų) vertės kriptovaliutos žetonų vienam socialinio tinklo „X“ vartotojui.
Kviečiame atrasti naują tv3.lt turinį! Nuo šiol portale jūsų laukia ne tik kasdien nauji testai, bet ir kryžiažodžiai – išbandykite savo žinias, spręskite ir smagiai praleiskite laiką.
O el. Saskaitos is vis katastrofa.
