Balso įgalintas AI: daugiarūšių pokalbių robotų augimas

Kai 2011 m. pirmą kartą susidūriau su balso asistentu, tai buvo šiek tiek daugiau nei naujovė – reikėjo užduoti kvailus klausimus ar nustatyti pagrindinius laikmačius. Atsakymai buvo robotiški, supratimas ribotas, o patirtis galiausiai varginanti. Greitai pasukame į šiandieną, o pokyčiai yra nepaprasti. Balso įgalintas dirbtinis intelektas iš tų elementarių pradžių išsivystė į sudėtingas daugiarūšes sistemas, kuriose derinamas kalbos atpažinimas, natūralios kalbos supratimas, vaizdo apdorojimas ir konteksto suvokimas.
Ši evoliucija yra vienas reikšmingiausių žmogaus ir kompiuterio sąveikos pokyčių, nes grafinė vartotojo sąsaja pakeitė komandų eilutes. Dešimtmečius pritaikėme savo elgseną, kad prisitaikytume prie technologijos apribojimų – vesdami tiksliai suformatuotas komandas, naršydami sudėtingose meniu struktūrose ir mokydamiesi specializuotų sąsajų. Dabar technologijos pagaliau prisitaiko prie mūsų natūralių bendravimo metodų.
Daugiarūšių pokalbių robotų – AI sistemų, kurios vienu metu gali apdoroti ir reaguoti keliais kanalais – atsiradimas žymi lūžio tašką šioje kelionėje. Šios sistemos supranta ne tik ištartus žodžius; jie interpretuoja toną, atpažįsta vaizdus, reaguoja į gestus ir palaiko kontekstą įvairiais sąveikos režimais. Dr. Maya Ramirez, Stanfordo pokalbio AI tyrimų direktorė, pažymi: „Mes pereiname nuo žmonių mokymo kalbėti kompiuteriu prie kompiuterių mokymo suprasti žmones“.
Šis poslinkis neįvyko per naktį. Tai lėmė nuosekli kalbos atpažinimo, natūralios kalbos apdorojimo, kompiuterinio matymo ir gilaus mokymosi pažanga. Rezultatas – technologija, kuri tampa vis labiau nepastebima – įsilieja į mūsų kasdienį gyvenimą, nereikalaujant pritaikyti savo natūralaus elgesio.

Tradiciniai pokalbių robotai veikė tik per tekstą, todėl vartotojai turi įvesti užklausas ir skaityti atsakymus. Nors tekstas išlieka galinga terpė, žmonių bendravimas visada buvo turtingesnis ir labiau niuansuotas. Kalbame įvairiais tonais, pabrėžiame gestais, aiškiname vaizdais ir suprantame per kontekstą. Multimodalinis AI siekia užfiksuoti visą komunikacijos spektrą.
Šiuolaikiniai balso pokalbių robotai sujungia keletą skirtingų galimybių:
Kalbos atpažinimo funkcija šnekamąją kalbą paverčia tekstu vis įspūdingesniu tikslumu net triukšmingoje aplinkoje arba su įvairiais akcentais ir tarmėmis.
Natūralus kalbos supratimas išskiria žodžių prasmę ir intenciją, atpažįsta esybes, santykius ir konteksto niuansus, suteikiančius kalbai turtingumo.
Kalbos sintezė sukuria vis natūralesnius atsakymus su tinkamu tempu, pabrėžimu ir netgi emocine potekste, todėl sąveika jaučiasi žmogiškesnė.
Vizualinis apdorojimas leidžia sistemoms gauti, interpretuoti ir generuoti vaizdus, vaizdo įrašus ir kitą vaizdinę informaciją, kuri papildo žodinį bendravimą.
Kontekstinė atmintis palaiko pokalbių istorijos supratimą įvairiais režimais, todėl laikui bėgant galima nuosekliau ir aktualiau sąveikauti.
Šių galimybių integravimas sukuria patirtį, kuri iš esmės skiriasi nuo ankstesnių DI sąveikų. Paimkite, pavyzdžiui, virtualius apsipirkimo padėjėjus. Dabar klientas gali paprašyti pamatyti „kažką panašaus, bet mėlynos spalvos“, rodydamas suknelės atvaizdą. Asistentas gali suprasti vaizdinę nuorodą, apdoroti žodinį pakeitimą ir atsakyti tiek vaizdine, tiek žodine informacija apie galimas parinktis.
Neseniai stebėjau savo 78 metų kaimynę, kuri kovoja su technologijomis, kaip sudėtingą pokalbį su savo multimodaline padėjėja dėl medicininių vizitų perplanavimo, tuo pačiu peržiūrint kalendoriaus konfliktus jos ekrane. Natūralus srautas tarp balso, vaizdo ir teksto padarė sąveiką prieinamą tokiu būdu, kuris būtų buvęs neįmanomas naudojant tradicines sąsajas.

Balsas tapo bene labiausiai transformuojančiu multimodalinių sistemų elementu, iš esmės keičiančiu mūsų sąveiką su technologijomis. Yra keletas priežasčių, dėl kurių balso sąsajos įgijo tokią svarbą:
Prieinamumas žymiai pagerėjo. Balso sąsajos atveria technologijas žmonėms, turintiems regėjimo negalią, riboto judumo ar mažo raštingumo, taip pat tiems, kuriems tradicinės teksto sąsajos yra sudėtingos dėl amžiaus ar negalios.
Naudojant laisvų rankų įrangą, galima sąveikauti vairuojant, gaminant maistą, mankštinantis ar atliekant kitą veiklą, kai ekrano naudojimas būtų nepraktiškas arba nesaugus.
Sąveikos greitis dažnai viršija spausdinimą, ypač sudėtingų užklausų ar komandų atveju. Daugelis žmonių kalba 150 žodžių per minutę greičiu, bet rašo tik 40 žodžių per minutę.
Natūralus įsitraukimas pašalina mokymosi kreivę, susijusią su specializuotomis sąsajomis. Jei galite palaikyti pokalbį, galite naudoti sistemą su balso funkcija.
Emocinis ryšys yra stipresnis bendraujant balsu nei su tekstu. Žmogaus balsas turi emocinių užuominų, kurios sukuria socialinio buvimo jausmą net bendraujant su AI.
Sarah Johnson, didelės automobilių įmonės UX direktorė, papasakojo, kaip jų įdiegtos multimodalinės sąsajos pakeitė vairuotojų elgesį: „Kai pakeitėme jutiklinius ekranus į valdiklius balsu, patobulintą paprastu vizualiniu patvirtinimu, pastebėjome, kad atitrauktų vairavimo atvejų sumažėjo daugiau nei 30 %. Vairuotojai žiūrėjo į kelią, o vis tiek naudojosi navigacijos, pramogų ir komunikacijos funkcijomis.
Balso sąsajos nėra be iššūkių. Susirūpinimas dėl privatumo kyla tada, kai įrenginiai visada klausosi, aplinkos triukšmas gali trukdyti atpažinti, o naudojimas viešai gali būti socialiai nepatogus. Tačiau technologiniai patobulinimai ir apgalvotas dizainas išsprendė daugelį šių problemų, o tai prisidėjo prie greito balso, kaip pagrindinio sąveikos metodo, priėmimo.

Balso galimybių integravimas į daugiarūšius pokalbių robotus sukuria transformuojančias programas daugelyje pramonės šakų:
Sveikatos priežiūros srityje asistentai su balsu padeda pacientams apibūdinti simptomus ir tuo pačiu metu analizuoja regėjimo požymius, pvz., odos būklę ar judėjimo apribojimus. Masačusetso bendrosios ligoninės gydytojai pranešė, kad jų AI skirstymo sistema, apjungianti balso interviu su vaizdo analize, pagerino pradinės diagnozės tikslumą 22%, palyginti su standartiniais klausimynais.
Klientų aptarnavimas buvo pakeistas dėl sistemų, kurios sklandžiai pereina iš balso skambučių, tekstinių pokalbių ir vaizdinių demonstracijų. Kai klientas skambina dėl sudėtingos produkto problemos, šios sistemos gali persijungti į mokomųjų vaizdo įrašų siuntimą arba užklausą nuotraukos apie problemą, išlaikant pokalbio tęstinumą.
Švietimo programose naudojama balso sąveika kartu su vaizdine medžiaga, kad būtų sukurta patrauklesnė ir prieinamesnė mokymosi patirtis. Kalbų mokymosi programėlė, kurią neseniai išbandžiau, naudoja kalbos atpažinimą, kad įvertintų tarimą, tuo pat metu rodydama burnos padėtį ir siūlydama vaizdinius sąvokų vaizdus – taip sukuriama kelių jutimų mokymosi aplinka.
Mažmeninės prekybos aplinkose dabar yra virtualių padėjėjų, kurie gali aptarti produktus, rodyti palyginimus ir apdoroti pirkinius natūraliais pokalbiais. „Nordstrom“ parduotuvės balso padėjėjai gali suprasti užklausas, pvz., „Parodykite man kažką panašaus į tai, ką pirkau praėjusį mėnesį, bet šiltesnio žiemai“, renka pirkimo istoriją ir pateikia kontekstui tinkamų rekomendacijų.
Pramoninėse programose balso komandos derinamos su vizualiniu patvirtinimu aplinkose, kuriose laisvų rankų įranga yra labai svarbi. „Boeing“ surinkimo įrenginio gamyklos darbuotojai naudoja balsu valdomas sistemas, kurios suteikia vaizdines nuorodas atliekant sudėtingas surinkimo užduotis, sumažindamos klaidas 17 % ir padidindamos efektyvumą.
Išmaniųjų namų ekosistemos vis labiau priklauso nuo multimodalinės sąveikos, leidžiančios vartotojams valdyti aplinką natūralia kalba ir gauti vaizdinį grįžtamąjį ryšį. „Parodyk man, kas yra prie durų“ suaktyvina ir žodinį atsakymą, ir fotoaparato tiekimo ekraną, sukurdamas išsamesnį namų aplinkos suvokimą.
Sėkmingiausi diegimai nelaiko balsu tik papildomu įvesties metodu, bet perkuria visą sąveikos modelį pagal natūralius bendravimo modelius. Šis holistinis požiūris suteikia patirtį, kuri jaučiasi intuityvi, o ne technologinė.

Šiandieninių multimodalinių pokalbių robotų galimybės atsiranda dėl nepaprastos pažangos keliose techninėse srityse:
Pažangus kalbos atpažinimas dabar pasiekia daugiau nei 95 % tikslumą idealiomis sąlygomis dėl gilių neuroninių tinklų, parengtų naudojant didžiulius žmogaus kalbos duomenų rinkinius. Šios sistemos gali susidoroti su skirtingais akcentais, tarmėmis, kalbos sutrikimais ir foniniu triukšmu, vis labiau tvirtindamos.
Natūralios kalbos supratimas išsivystė nuo paprasto raktinių žodžių atitikimo iki sudėtingų modelių, kurie suvokia kontekstą, ketinimus ir subtilumą. Šiuolaikinės sistemos supranta dviprasmiškas nuorodas, seka pokalbio objektus ir interpretuoja numanomas reikšmes, kurios nėra tiesiogiai nurodytos.
Dideli kalbų modeliai (LLM) sudaro pagrindą daugeliui daugiarūšių sistemų su architektūromis, kurios gali apdoroti ir generuoti tekstą ir kitus būdus. Šiuose modeliuose yra šimtai milijardų parametrų ir jie mokomi naudojant įvairius duomenis, kurie padeda suprasti skirtingų tipų informacijos ryšius.
Kalbos sintezė pažengė į priekį nuo robotizuotų, atskirtų fonemų iki natūraliai skambančių balsų, turinčių tinkamą emocinį posūkį ir laiką. Geriausios sistemos dabar praeina „neįprastą slėnį“, skamba pakankamai žmogiškai, kad vartotojai pamiršta, kad kalbasi su AI.
Kompiuterinio matymo galimybės leidžia sistemoms atpažinti objektus, interpretuoti scenas, suprasti gestus ir apdoroti vaizdinę informaciją, papildančią balso sąveiką. Kai paklausiate daugiarūšio asistento apie objektą, kurį laikote prieš kamerą, kelios AI sistemos veikia kartu, kad pateiktų nuoseklų atsakymą.
„Edge computing“ pažanga leido daugiau apdoroti tiesiogiai įrenginiuose, o ne debesyje, taip sumažinant delsą ir sprendžiant privatumo problemas, susijusias su visų balso duomenų siuntimu į nuotolinius serverius.
Markas Chenas, pirmaujančios pokalbių AI įmonės technologijų pareigūnas, paaiškino: „Tikrasis proveržis buvo ne viena technologija, o kelių AI sistemų, kurios gali dalytis kontekstu ir bendradarbiauti realiuoju laiku, integravimas. Kai jūsų balso asistentas gali išgirsti jūsų klausimą apie bėrimą ant rankos ir pamatyti patį bėrimą, diagnostikos galimybės eksponentiškai padidėja.
Nors atskiri komponentai, pvz., kalbos atpažinimas, labai patobulėjo, sklandus šių technologijų suderinimas sukuria didesnį potyrį nei jų dalių suma. Pažangiausios sistemos dinamiškai nustato, kurie modalumai yra tinkamiausi skirtingoms sąveikos dalims, sklandžiai perjungiant jas pagal kontekstą ir vartotojo poreikius.

Daugiarūšis DI, įgalintas balsu, tampa vis labiau integruotas į kasdienį gyvenimą, iškyla svarbūs etiniai klausimai ir visuomeninė pasekmė:
Susirūpinimas dėl privatumo ypač aktualus, kai namuose ir darbo vietose nuolat klausosi prietaisai. Vartotojai dažnai visiškai nesupranta, kada jų pokalbiai įrašomi, apdorojami ar saugomi. Įmonės turi rasti pusiausvyrą tarp funkcionalumo, reikalaujančio įsiklausyti, ir pagarbos privačioms erdvėms.
Prieinamumo privalumai gali pakeisti žmones su negalia, tačiau tik tuo atveju, jei šios sistemos nuo pat pradžių buvo sukurtos atsižvelgiant į įvairius poreikius. Balso sąsajos, kurios nesupranta akcentų ar kalbos sutrikimų, iš tikrųjų gali padidinti skaitmeninę atskirtį, o ne ją susiaurinti.
Socialinės normos, susijusios su DI sąveika, vis dar vystosi. Balso asistentams panašėjant į žmones, naudotojai gali susikurti emocinius prisirišimus arba lūkesčius, kurių šios sistemos nėra sukurtos įgyvendinti. Riba tarp naudingo įrankio ir suvokiamų socialinių santykių gali išsilieti.
Darbo rinkos sutrikimas yra neišvengiamas, nes balso AI sistemos pakeičia tam tikrus vaidmenis klientų aptarnavimo, priėmimo ir kitose svarbiose srityse. Nors atsiras naujų darbo vietų, perėjimas gali būti sudėtingas darbuotojams, kurių įgūdžiai staiga tampa mažiau paklausūs.
Algoritminis šališkumas gali pasireikšti balso sistemose, kurios geriau nei kitus supranta tam tikrus akcentus, dialektus ar kalbos modelius. Jei šios sistemos veikia prastai konkrečiose demografinėse grupėse, gali padidėti esama nelygybė.
Priklausomybė nuo technologijų kelia klausimų, kas nutinka, kai daugiau pažintinių ir interaktyvių funkcijų perduodame dirbtinio intelekto sistemoms. Kai kurie tyrinėtojai išreiškia susirūpinimą dėl tam tikrų žmogaus galimybių atrofijos, nes mes labiau pasitikime technologine pagalba.
Dirbtinio intelekto etikė dr. Elena Washington pasidalijo savo požiūriu: "Balso AI iš prigimties yra intymesnis nei tekstinės sąsajos. Jis patenka į mūsų namus, klausosi mūsų pokalbių ir kalba su mumis žmogaus balsu. Tai sukuria ir galimybes, ir atsakomybę. Šioms sistemoms reikia etinių apsauginių turėklų, atitinkančių precedento neturinčią prieigą prie mūsų gyvenimo."
Į ateitį mąstančios organizacijos sprendžia šiuos susirūpinimą dėl duomenų naudojimo skaidrumo, balso įrašymo pasirinkimo politikos, įvairių mokymo duomenų, kad sumažintų šališkumą, ir aiškų signalizavimą, kai vartotojai sąveikauja su dirbtiniu intelektu, o ne su žmonėmis. Pramonė pamažu supranta, kad ilgalaikė sėkmė priklauso ne tik nuo techninių galimybių, bet ir nuo vartotojų pasitikėjimo pelnymo ir išlaikymo.

Kuriant efektyvias daugiarūšes balso funkcijas, kyla unikalių dizaino iššūkių, kurie labai skiriasi nuo tradicinio sąsajos dizaino:
Pokalbio dizainas reikalauja iš esmės kitokio požiūrio nei vaizdinės sąsajos dizainas. Pokalbiai yra laikomi, o ne erdviniai, o vartotojai negali „nuskaityti“ galimų parinkčių taip, kaip tai būtų daroma ekrane. Dizaineriai turi sukurti patirtį, kuri natūraliai vadovautų naudotojams, neapsunkindami jų pasirinkimais ar informacija.
Klaidų tvarkymas tampa sudėtingesnis, kai balsas yra pagrindinė sąsaja. Skirtingai nuo klaidingo spustelėjimo, kurį galima nedelsiant ištaisyti, kalbos atpažinimo klaidos gali sutrikdyti visą sąveiką. Veiksmingos sistemos turi maloniai patvirtinti svarbią informaciją ir numatyti atkūrimo kelius, kai įvyksta nesusipratimų.
Multimodalinis koordinavimas reikalauja kruopštaus skirtingų komunikacijos kanalų suderinimo. Kada informacija turėtų būti pateikiama vizualiai, o ne žodžiu? Kaip šie kanalai papildo vienas kitą, o ne konkuruoja? Šie klausimai reikalauja apgalvotų projektavimo sprendimų, pagrįstų pažinimo principais ir vartotojo testavimu.
Asmenybė ir tonas daro didelę įtaką vartotojo suvokimui apie balso sąsajas. Skirtingai nuo vaizdinių sąsajų, kuriose asmenybė yra mažiau ryški, balsas natūraliai perteikia charakterio bruožus. Organizacijos turi nuspręsti, kokios asmenybės savybės atitinka jų prekės ženklą, ir nuosekliai jas įgyvendinti.
Konteksto suvokimas tampa būtinas natūraliai sąveikai. Sistemos turi suprasti ne tik tai, ką sako vartotojai, bet ir kada ir kur tai sako, koreguoti atsakymus pagal aplinkos veiksnius, paros laiką, naudotojų istoriją ir kitus kontekstinius elementus.
Jamie Rivera, vadovaujantis balso patirties kūrimui didelėje technologijų įmonėje, apibūdino savo požiūrį: „Mėnesius praleidome nuspręsdami, kada naudoti tik balsą, kada pridėti vaizdinių elementų ir kada perkelti naudotojus į pagrindinę ekrano patirtį. Teisingas atsakymas skiriasi ne tik atsižvelgiant į užduotį, bet ir nuo vartotojo, aplinkos ir konteksto. Dabar mūsų projektavimo sistemoje yra sprendimų medžiai, skirti modalumui pasirinkti, atsižvelgiant į daugybę kintamųjų.
Sėkmingiausi dizainai ne tik paverčia ekrano sąveiką balsu, bet ir permąsto visą sąveikos modelį, pagrįstą pokalbio principais. Tai dažnai reiškia, kad vienu metu pateikiama mažiau parinkčių, daugiau patvirtinami svarbūs veiksmai ir atidus dėmesys atminties apribojimams tik garso kontekstuose.

Kadangi multimodalinis AI ir toliau vystosi, ateities kraštovaizdį formuoja kelios naujos tendencijos:
Emocinis intelektas tampa pagrindiniu skirtumu, nes sistemos peržengia funkcinį tikslumą ir atpažįsta žmogaus emocijas ir į jas tinkamai reaguoja. Pažangios balso sistemos aptinka nusivylimą, sumišimą ar pasitenkinimą vartotojų balsais ir atitinkamai koreguoja jų atsakymus.
Suasmeninimas tampa vis sudėtingesnis, nes sistemos kuria išsamius naudotojo modelius įvairiose sąveikose. Užuot laikydamos kiekvieną pokalbį kaip atskirą, būsimos sistemos laikui bėgant supras vartotojų nuostatas, bendravimo stilius ir poreikius, sukurdamos vis labiau pritaikytą patirtį.
Aplinkos intelektas numato aplinką, kurioje balsas ir daugiarūšis AI sklandžiai susilieja į fizines erdves, pasiekiamas, kai reikia, bet nematomas, kai ne. Užuot aiškiai suaktyvinę įrenginius, vartotojai naršys aplinkoje, reaguojančioje į natūralų ryšį.
Atsiranda specializuotos balso sąsajos, skirtos konkrečioms sritims, tokioms kaip sveikatos priežiūra, teisė ir švietimas, turinčios gilių žinių apie konkrečios srities terminologiją ir darbo eigą. Šios specializuotos sistemos pasiekia didesnį tikslumą ir naudingumą savo srityse nei bendrosios paskirties asistentai.
Decentralizuotas balso AI vis labiau populiarėja, nes susirūpinimas dėl privatumo skatina kurti sistemas, kurios apdoroja balsą vietoje, o ne siunčia duomenis į debesies serverius. Šis metodas sumažina delsą ir išsaugo potencialiai jautrius balso duomenis vartotojo įrenginiuose.
Dėl kelių įrenginių tęstinumo pokalbiai vyksta natūraliai įvairiose aplinkose ir įrenginiuose. Pokalbis, pradėtas naudojant išmanųjį garsiakalbį, gali sklandžiai pereiti į automobilį, tada į telefoną, išlaikant visą kontekstą.
Profesorius Tariqas Johnsonas, tyrinėjantis naujos kartos sąsajas MIT Media Lab, prognozuoja: "Per penkerius metus skirtumas tarp skirtingų sąveikos būdų vartotojams taps beveik beprasmis. Jie tiesiog natūraliai bendraus, o jų technologinė aplinka tinkamai reaguos kartais balsu, kartais vizualiai, kartais haptiškai – dažnai deriniais, kuriuos lemia situacijos specifika."
Ši konvergencija rodo ateitį, kurioje pati technologija atsitraukia nuo sąmoningumo, o žmogaus dėmesys sutelkiamas į užduotis ir tikslus, o ne į sąsajas, naudojamas joms įgyvendinti.

Daugiarūšių pokalbių robotų su balsu atsiradimas yra daugiau nei dar viena technologinė pažanga – tai rodo esminį mūsų santykių su technologijomis pasikeitimą. Po dešimtmečių, kai žmonės prisitaiko prie technologinių apribojimų, įžengiame į erą, kai technologijos prisitaiko prie natūralių žmonių bendravimo modelių.
Ši transformacija turi gilių pasekmių. Vartotojams tai reiškia intuityvesnę, prieinamesnę ir efektyvesnę sąveiką. Kūrėjams ir dizaineriams reikia permąstyti pokalbio, o ne manipuliavimo, sąveikos modelius. Organizacijoms tai suteikia galimybių užmegzti asmeniškesnius, patrauklesnius santykius su klientais, kartu sprendžiant naujus privatumo ir etikos aspektus.
Sėkmingiausi diegimai bus tie, kuriuose apgalvotai derinami įvairūs būdai, atsižvelgiant į kontekstą, vartotojo poreikius ir aplinkos veiksnius. Balsas dažnai lems šią sąveiką, tačiau vaizdiniai, gestų ir teksto komponentai papildys kalbą taip, kad išnaudotų kiekvieno komunikacijos kanalo pranašumus.
Kadangi šios sistemos ir toliau vystosi, riba tarp skaitmeninės ir fizinės sąveikos dar labiau nyks. Mūsų skaitmeniniai padėjėjai taps labiau suvokiantys kontekstą, emociškai protingesni ir asmeniškai pritaikyti mūsų individualiems poreikiams. Pati technologija vis labiau išnyks į antrą planą, nes patirtis taps natūraliau žmogiška.
Pokalbių ateitis, kurią dešimtmečius žadėjo mokslinė fantastika, pagaliau atsiranda – ne per kokį nors vieną proveržį, bet dėl kruopštaus kelių sričių pažangos integravimo. Daugiarūšis AI balsu įgalintas ne tik keičia mūsų sąveiką su technologijomis; tai iš naujo apibrėžia, ką technologijų sąveika reiškia mūsų kasdieniame gyvenime.