Dirbtinio intelekto, suprantančio kontekstą, kūrimas: iššūkiai ir proveržiai

Kai prieš dešimtmetį pradėjau dirbti su dirbtinio intelekto sistemomis, jų nesugebėjimas suprasti konteksto buvo skausmingai akivaizdus. Užduodavote, regis, paprastą klausimą, o gautumėte visiškai netikslų atsakymą, nes sistema nesugebėjo suvokti kontekstinių niuansų, kuriuos žmonės supranta intuityviai.

Konteksto supratimas yra vienas didžiausių iššūkių dirbtinio intelekto vystyme. Skirtingai nuo žmonių, kurie be vargo interpretuoja reikšmę, remdamiesi situacijos suvokimu, kultūrinėmis žiniomis ir pokalbių istorija, tradicinės dirbtinio intelekto sistemos daugiausia veikė remdamosi šablonų atpažinimu ir statistine analize, iš tikrųjų „nesuprasdamos“ platesnio konteksto.

Šis kontekstinis atotrūkis pasireiškia įvairiais būdais: dirbtinis intelektas gali neatpažinti sarkazmo, nesuprasti kultūrinių nuorodų reikšmės arba pamiršti ankstesnes pokalbio dalis, kurios suteikia esminį kontekstą naujos informacijos interpretavimui. Tai tarsi kalbėtis su žmogumi, turinčiu puikų žodyną, bet neturinčiu socialinio sąmoningumo ar atminties to, ką pasakėte prieš penkias minutes.

Kontekstas nėra vienareikšmė sąvoka, o daugiamatė sistema, apimanti įvairius elementus:

Lingvistinis kontekstas apima žodžius, sakinius ir pastraipas, supančias konkretų teiginį. Kai kas nors sako: „Aš negaliu to pakęsti“, prasmė smarkiai pasikeičia, jei ankstesnis sakinys yra „Ši kėdė svyruoja“, o ne „Ši muzika yra graži“.

Situacinis kontekstas apima aplinkos, laiko ir aplinkybių, kuriomis vyksta bendravimas, supratimą. Prašymas „krypčių“ reiškia kažką kita, kai stovima gatvės kampe, ir kai sėdima konferencijoje apie lyderystę.

Kultūrinis kontekstas apima bendras žinias, nuorodas ir normas, kurios formuoja bendravimą. Kai kas nors užsimena apie „Hamleto kūrimą“, jis turi omenyje neryžtingumą, tačiau dirbtinis intelektas be kultūrinio konteksto gali pradėti deklamuoti Šekspyrą.

Tarpasmeninis kontekstas apima santykių dinamiką, bendrą istoriją ir emocines būsenas, kurios nuspalvina sąveiką. Draugai supranta vienas kito vidinius juokelius ir gali aptikti subtilius tono pokyčius, kurie signalizuoja apie emocijas. Kad dirbtinio intelekto sistemos iš tikrųjų suprastų kontekstą taip, kaip tai daro žmonės, jos turi vienu metu suvokti visus šiuos aspektus – tai milžiniškas iššūkis, kuris tyrėjus kamavo jau dešimtmečius.

Ankstyvieji bandymai sukurti kontekstą suvokiančią dirbtinį intelektą labai rėmėsi taisyklėmis pagrįstomis sistemomis ir rankiniu būdu užkoduotomis žiniomis. Kūrėjai kruopščiai programuodavo tūkstančius „jei-tai“ taisyklių, kad galėtų tvarkyti konkrečius kontekstus. Pavyzdžiui: „Jei vartotojas užsimena, kad „jaučiasi prislėgtas“ ir anksčiau kalbėjo apie darbo pokalbį, atsakydamas nurodykite tą pokalbį.“

Šis metodas greitai tapo netvarus. Galimų kontekstų skaičius iš esmės yra begalinis, o rankiniu būdu programuoti atsakymus kiekvienam scenarijui neįmanoma. Šios sistemos buvo trapios, negalėjo apibendrinti naujoms situacijoms ir dažnai strigdavo susidūrusios su netikėtais įvestimis.

Statistiniai metodai, tokie kaip n-gramos ir pagrindinis mašininis mokymasis, šiek tiek pagerino padėtį, leisdami sistemoms atpažinti kalbos vartojimo modelius. Tačiau šie metodai vis dar sunkiai susidorojo su ilgalaikėmis priklausomybėmis – susiejo daug anksčiau pokalbyje paminėtą informaciją su dabartiniais teiginiais – ir negalėjo įtraukti platesnių pasaulio žinių.

Dar sudėtingesni neuroninių tinklų metodai, tokie kaip ankstyvieji pasikartojantys neuroniniai tinklai (RNN) ir ilgos trumpalaikės atminties (LSTM) tinklai, pagerino kontekstinį suvokimą, tačiau vis tiek kentė nuo „kontekstinės amnezijos“, kai pokalbiai tapdavo ilgi arba sudėtingi.

Proveržis įvyko 2017 m., pristačius „Transformer“ architektūrą, kuri iš esmės pakeitė tai, kaip dirbtinio intelekto sistemos apdoroja nuoseklią informaciją. Skirtingai nuo ankstesnių modelių, kurie apdorodavo tekstą po vieną žodį iš eilės, „Transformers“ naudoja mechanizmą, vadinamą „savęs dėmesiu“, kuris leidžia jiems vienu metu apsvarstyti visus ištraukos žodžius, įvertinant jų tarpusavio ryšius.

Ši architektūra leido modeliams užfiksuoti daug ilgesnes kontekstines priklausomybes ir išlaikyti dėmesį informacijai, paminėtai tūkstančiais žodžių anksčiau. Garsusis Vaswani ir kt. straipsnis „Dėmesys yra viskas, ko jums reikia“ parodė, kad šis metodas gali smarkiai pagerinti mašininio vertimo kokybę, geriau išsaugant kontekstinę reikšmę skirtingomis kalbomis.
Ši architektūrinė naujovė sudarė sąlygas tokiems modeliams kaip BERT, GPT ir jų įpėdiniai, kurie demonstravo vis sudėtingesnes kontekstinio supratimo galimybes. Šie modeliai yra iš anksto apmokyti su didžiuliais teksto korpusais, todėl jie gali įsisavinti kalbos vartojimo modelius daugybėje kontekstų, prieš juos tiksliai pritaikant konkrečioms programoms.
Šių modelių mastas išaugo eksponentiškai – nuo milijonų parametrų iki šimtų milijardų, todėl jie gali užfiksuoti vis subtilesnius kontekstinius modelius. Didžiausi modeliai dabar, regis, turi elementarias „sveiko proto“ žinias, kurios padeda jiems išaiškinti painias nuorodas ir suprasti numanomą reikšmę.

Nors tekstu pagrįstas kontekstinis supratimas labai pažengė į priekį, žmonės nebesiremia vien žodžiais, kad suprastų kontekstą. Situacijas interpretuojame per vaizdinius ženklus, balso toną, kūno kalbą ir net subtilius aplinkos veiksnius.

Naujausi multimodalinio dirbtinio intelekto proveržiai pradeda mažinti šią spragą. Tokios sistemos kaip CLIP, DALL-E ir jų įpėdiniai gali sujungti kalbą ir vaizdinę informaciją, taip sukurdami turtingesnį kontekstinį supratimą. Pavyzdžiui, jei rodomas perpildyto stadiono vaizdas kartu su tekstu apie „rungtynes“, šios sistemos, remdamosi vaizdiniais ženklais, gali nuspręsti, ar tai reiškia beisbolą, futbolą ar futbolą.

Audiovizualiniai modeliai dabar gali aptikti emocines būsenas pagal balso toną ir veido išraiškas, pridėdami dar vieną svarbų kontekstinio supratimo sluoksnį. Kai kas nors sarkastiškai ir nuoširdžiai sako „Puikus darbas“, reikšmė visiškai pasikeičia – šį skirtumą pradeda suvokti šios naujesnės sistemos.

Kita sritis – šių multimodalinių galimybių integravimas su pokalbių dirbtiniu intelektu, siekiant sukurti sistemas, kurios vienu metu supranta kontekstą skirtingais jutimo kanalais. Įsivaizduokite dirbtinio intelekto asistentą, kuris atpažįsta, kad gaminate (vizualinis kontekstas), girdi jūsų susierzinimo toną (garso kontekstas), pastebi, kad skaitote receptą (tekstinis kontekstas), ir siūlo atitinkamą pagalbą be aiškaus raginimo.

Net ir naudojant pažangius kalbos modelius, dirbtinio intelekto sistemoms buvo sunku išlaikyti nuoseklią kontekstinę atmintį ilgų sąveikų metu. Ankstyvieji dideli kalbos modeliai „pamiršdavo“ anksčiau pokalbyje paminėtas detales arba sufabuluodavo atsakymus, užuot pripažinę žinių spragas.

Naujausi atradimai papildytos paieškos generavimo (RAG) srityje sprendžia šį apribojimą, leisdami dirbtinio intelekto sistemoms remtis išorinėmis žinių bazėmis ir ankstesnių pokalbių istorija. Užuot pasikliavusios vien mokymo metu užkoduotais parametrais, šios sistemos gali aktyviai ieškoti atitinkamos informacijos, kai to reikia, panašiai kaip žmonės kreipiasi į savo atmintį.

Konteksto langai – teksto kiekis, kurį dirbtinis intelektas gali apsvarstyti generuodamas atsakymus – pažangiausiose sistemose smarkiai išsiplėtė nuo vos kelių šimtų žetonų iki šimtų tūkstančių. Tai leidžia generuoti daug nuoseklesnį ilgos formos turinį ir pokalbį, išlaikant nuoseklumą ilgų pokalbių metu.

Ne mažiau svarbu yra samprotavimo galimybių pažanga. Šiuolaikinės sistemos dabar gali atlikti daugiapakopes samprotavimo užduotis, suskaidydamos sudėtingas problemas į lengvai valdomus veiksmus ir išlaikydamos kontekstą viso proceso metu. Pavyzdžiui, spręsdamos matematikos uždavinį, jos gali sekti tarpinius rezultatus ir prielaidas taip, kad tai atspindėtų žmogaus darbinę atmintį.

Dirbtinio intelekto sistemoms vis geriau suprantant kontekstą, atsiranda naujų etinių aspektų. Sistemos, kurios suvokia kultūrinius ir socialinius niuansus, gali potencialiai efektyviau manipuliuoti vartotojais arba sustiprinti žalingus šališkumus, esančius mokymo duomenyse.

Gebėjimas išlaikyti kontekstinę atmintį skirtingų sąveikų metu taip pat kelia susirūpinimą dėl privatumo. Jei dirbtinis intelektas prisimena asmeninę informaciją, bendrintą prieš kelias savaites ar mėnesius, ir netikėtai ją atnaujina, vartotojai gali jausti, kad jų privatumas buvo pažeistas, net jei jie savanoriškai pasidalijo ta informacija.
Kūrėjai stengiasi spręsti šias problemas, naudodami tokius metodus kaip kontroliuojamas užmiršimas, aiškaus sutikimo mechanizmai asmeninei informacijai saugoti ir šališkumo mažinimo strategijos. Tikslas – sukurti dirbtinį intelektą, kuris pakankamai gerai suprastų kontekstą, kad būtų naudingas, bet netaptų įkyrus ar manipuliuojantis.

Taip pat iškyla skaidrumo iššūkis. Kontekstiniam supratimui tampant vis sudėtingesniam, vartotojams vis sunkiau suprasti, kaip dirbtinio intelekto sistemos pasiekia savo išvadas. Metodai, skirti paaiškinti dirbtinio intelekto sprendimų priėmimą nuo konteksto priklausančiuose scenarijuose, yra aktyvi tyrimų sritis.

Kontekstinio supratimo proveržiai keičia daugelį sričių:
Sveikatos priežiūros srityje kontekstą suvokianti dirbtinė intelektinė intelektas gali interpretuoti pacientų skundus atsižvelgdamas į jų ligos istoriją, gyvenimo būdo veiksnius ir šiuo metu vartojamus vaistus. Kai pacientas apibūdina simptomus, sistema gali užduoti atitinkamus tolesnius klausimus, remdamasi šiuo išsamiu kontekstu, o ne vadovaudamasi bendru scenarijumi.
Klientų aptarnavimo sistemos dabar saugo pokalbių istoriją ir paskyros informaciją viso bendravimo metu, todėl nebereikia varginančio poreikio kartoti informaciją. Jos gali aptikti emocines būsenas pagal kalbos modelius ir atitinkamai pakoreguoti savo toną – tapti formalesni arba empatiškesni, atsižvelgiant į kontekstą.
Švietimo programos naudoja kontekstinį suvokimą, kad stebėtų studento mokymosi kelionę, nustatytų žinių spragas ir klaidingas nuomones. Užuot pateikusios standartizuotą turinį, šios sistemos pritaiko paaiškinimus, remdamosi ankstesniais studento klausimais, klaidomis ir parodytu supratimu.
Teisinių ir finansinių dokumentų analizė labai naudinga iš kontekstinio supratimo. Šiuolaikinė dirbtinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė intelektinė energija.
Kūrybiniai įrankiai, tokie kaip rašymo asistentai, dabar išlaiko teminį nuoseklumą ilguose darbuose, siūlydami turinį, kuris atitinka nusistovėjusius veikėjus, aplinką ir pasakojimo lankus, o ne bendrą teksto užbaigimą.

Žvelgiant į ateitį, kelios perspektyvios tyrimų kryptys galėtų dar labiau transformuoti kontekstinį dirbtinį intelektą:

Epizodinės atminties modeliai siekia suteikti dirbtinio intelekto sistemoms kažką panašaus į žmogaus autobiografinę atmintį – gebėjimą prisiminti konkrečius įvykius ir patirtis, o ne tik statistinius modelius. Tai leistų daug labiau suasmenintą sąveiką, pagrįstą bendra istorija.

Priežastinio samprotavimo sistemos siekia peržengti koreliacija pagrįsto modelių atpažinimo ribas ir suprasti priežasties ir pasekmės ryšius. Tai leistų dirbtiniam intelektui samprotauti apie priešingus faktus („Kas nutiktų, jei...“) ir pateikti tikslesnes prognozes naujuose kontekstuose.

Kuriami tarpkultūriniai kontekstiniai modeliai, siekiant suprasti, kaip kontekstas keičiasi skirtingose kultūrinėse sistemose, todėl dirbtinio intelekto sistemos tampa labiau pritaikomos ir mažiau šališkos Vakarų kultūros normoms.

Įkūnyto dirbtinio intelekto tyrimai nagrinėja, kaip fizinis kontekstas – buvimas aplinkoje su galimybe su ja sąveikauti – keičia kontekstinį supratimą. Robotai ir virtualūs agentai, kurie gali matyti, manipuliuoti objektais ir naršyti erdvėse, kuria kitokius kontekstinius modelius nei tik tekstinės sistemos.
Galutinis tikslas išlieka sukurti dirbtinį bendrąjį intelektą (DGI) su žmogaus panašų kontekstinį supratimą – sistemas, kurios galėtų sklandžiai integruoti visas šias konteksto formas, kad galėtų bendrauti ir samprotauti apie pasaulį taip pat efektyviai, kaip tai daro žmonės. Nors iki šio etapo dar toli, proveržių tempas rodo, kad mes nuolat judame šia kryptimi.

Šioms technologijoms toliau tobulėjant, jos keičia mūsų santykį su mašinomis – nuo griežtos, komandomis pagrįstos sąveikos iki sklandaus, kontekstualinio bendradarbiavimo, kuris vis labiau primena žmonių tarpusavio bendravimą. Dirbtinis intelektas, kuris iš tikrųjų supranta kontekstą, yra ne tik techninis pasiekimas – jis žymi esminį pokytį žmonijos technologinėje kelionėje.