„OpenAI“ aiškina, jog „haliucinacijomis“ vadinama situacija, kai DI, užuot pripažinęs nežinojimą, pateikia išgalvotus atsakymus.
Tyrėjų teigimu, tokie atsakymai kyla dėl binarinės klasifikacijos klaidų, kai modeliai priversti priskirti naujus duomenis vienai iš dviejų kategorijų, rašo „Euronews“.
Ataskaitoje pabrėžiama, kad modeliai yra „optimizuoti būti geri testų sprendėjai“ ir dažnai spėlioja, jei tai padidina testo rezultatą.
Tai prilyginama studentams, kurie egzaminuose renkasi atsakymą spėliodami arba „blefuoja“ rašytiniuose darbuose, nes už bandymą atsakyti surenka daugiau taškų nei palikę tuščius lapus.
„OpenAI“ neseniai pristatė „GPT-5“ modelį ir tvirtina, kad jis „atsparus haliucinacijoms“ ir daro 46 proc. mažiau klaidų nei „GPT-4o“.
Vis dėlto JAV bendrovės „NewsGuard“ atliktas tyrimas parodė, kad „ChatGPT“ modeliai apskritai apie 40 proc. atsakymuose pateikia klaidingą informaciją.
Kodėl kai kurie klausimai lieka neatsakomi?
„OpenAI“ tyrime teigiama, kad nors kai kurios užduotys, pavyzdžiui, rašyba ar gramatika, turi aiškias taisykles, egzistuoja temų ir duomenų tipų, kuriuos DI sunku ar neįmanoma tiksliai klasifikuoti.
Pavyzdžiui, jei algoritmui pateikiamos nuotraukos su etiketėmis „katė“ ar „šuo“, jis gali jas nesunkiai atskirti.
Tačiau jei nuotraukos būtų pažymėtos pagal augintinio gimtadienio kontekstą, pokalbių robotui būtų sudėtinga jas tinkamai suskirstyti.
Pažymima, kad tokio tipo užduotys „visada sukels klaidų, nepriklausomai nuo algoritmo pažangumo“. Viena pagrindinių tyrimo išvadų – modeliai niekada nebus 100 proc. tikslūs, nes „kai kurie realaus pasaulio klausimai iš esmės yra neatsakomi“.
Vis dėlto, norint sumažinti „haliucinacijų“ skaičių, „OpenAI“ siūlo vartotojams skatinti modelius atsakyti „nežinau“ tais atvejais, kai atsakymo nėra, ir peržiūrėti taškų sistemą, kad ji atspindėtų atsakymų kokybę, o ne tik jų pateikimą.
Patiko straipsnis? Užsiprenumeruokite mūsų naujienlaiškį ir gaukite svarbiausias dienos naujienas bei įdomiausius straipsnius kiekvieną darbo dieną 11 val. Tiesiai į Jūsų el. paštą!
