Dirbtinio intelekto sukurto garso evoliucija: kaip „KlingAI“ keičia žaidimą

Vis dar prisimenu, kai pirmą kartą dešimtojo dešimtmečio pabaigoje išgirdau kompiuteriu sukurtą kalbą – tą aiškiai robotišką, nenuoseklų balsą, skaitantį tekstą mano senajame Windows kompiuteryje. Naujovė buvo jaudinanti, tačiau mechaninis pristatymas leido suprasti, kad tai yra technologija. Greitai pasukame į šiandieną, o transformacija buvo tiesiog nuostabi.
Dirbtinio intelekto sukurtas garsas iš tų primityvių monotoniškų balsų išsivystė į sudėtingas sistemas, galinčias leisti kalbą, beveik nesiskiriančią nuo žmogaus įrašų. Ši kelionė atspindi platesnę dirbtinio intelekto pažangą, ypač perėjimą nuo taisyklėmis pagrįstų sistemų prie mašininio mokymosi metodų ir galiausiai prie gilaus mokymosi modelių, galinčių užfiksuoti žmogaus kalbos niuansus.
2010-ųjų pradžioje įvyko pirmieji reikšmingi proveržiai, kai neuroniniai tinklai pradėjo pakeisti jungiamosios sintezės metodus (kurie sujungė iš anksto įrašytus garso vienetus). „Google WaveNet“ 2016 m. buvo taškas, pristatydamas gilų generacinį modelį, galintį sukurti neapdorotas garso bangų formas ir žymiai pagerinti natūralumą. Po to sekė sistemos, tokios kaip Tacotron, ir vėlesni generuojamųjų priešpriešinių tinklų (GAN) ir transformatorių garso modelių plėtra.
Nepaisant šios pažangos, dauguma dirbtinio intelekto balso sistemų vis dar kentėjo nuo apribojimų – nenuoseklios kokybės, sunkumų valdant emocinį diapazoną ir nuolatinio „neįprasto slėnio“ efekto, kai balsai buvo artimi natūraliems, tačiau su subtiliais, nerimą keliančiais skirtumais, kuriuos galėjo aptikti žmonių klausytojai.
Čia KlingAI įžengia į istoriją su technologija, specialiai sukurta šiems nuolatiniams iššūkiams įveikti.

Kai 2024 m. pradžioje KlingAI pirmą kartą pasirodė rinkoje, daugelis manė, kad tai tik dar vienas laipsniškas patobulinimas vis labiau perpildytoje AI garso generavimo erdvėje. Dalyvavau jų paleidimo demonstracijoje skeptiškai nusiteikęs, kad jie tikrai gali pateikti kažką revoliucingo – juk anksčiau buvome girdėję panašių teiginių.
Per kelias minutes mano skepticizmas ištirpo. KlingAI buvo ne tik šiek tiek geresnis už esamus sprendimus; tai buvo visiškai nauja balso sintezės technologijos pakopa.
Iš esmės „KlingAI“ naudoja patentuotą architektūrą, kurią jie vadina „Neural Acoustic Modeling“ (NAM), kuri iš esmės skiriasi nuo įprastų metodų. Užuot sutelkęs dėmesį tik į statistinius kalbos duomenų modelius, KlingAI sistema apima išsamius žmogaus balso fiziologijos ir akustinės fizikos modelius. Tai leidžia generuoti balsus, turinčius precedento neturintį natūralizmą, nes jis remiasi pirmaisiais žmogaus kalbos formavimosi principais.
Pagrindinės technologinės naujovės, išskiriančios KlingAI, yra šios:
Mikroprozodijų modeliavimas: Nors dauguma sistemų tvarko pagrindinę prozodiją (kalbos ritmą, įtempimą ir intonaciją), „KlingAI“ užfiksuoja mikrolygio laiko, tono ir kirčiavimo pokyčius, kurie natūraliai atsiranda žmogaus kalboje, bet paprastai prarandami generuojant dirbtinį intelektą.
Kontekstinis emocinis intelektas: KlingAI taiko ne tik emocijas kaip neutralios kalbos filtrą. Jo modeliai supranta emocinį turinio kontekstą ir atitinkamai pritaiko vokalines savybes su subtiliais variantais, atspindinčiais autentišką žmogaus emocinę raišką.
Dinaminis prisitaikymas prie aplinkos: skirtingai nei sistemos, kurios generuoja balsus nesugadintame vakuume, KlingAI gali imituoti, kaip balsai natūraliai sąveikauja su skirtingomis akustinėmis aplinkomis – nuo intymių pokalbių mažuose kambariuose iki pristatymų didelėse salėse.
Fiziologinis nuoseklumas: kiekvienas sintetinis balsas išlaiko nuoseklias fiziologines charakteristikas visuose posakiuose, vengiant subtilių neatitikimų, dėl kurių dirbtinio intelekto balsai dažnai jaučiasi neįprasti ar nenatūralūs ilgai klausantis.
Rezultatas yra balsai, kurie ne tik natūraliai skamba atskirose frazėse, bet ir išlaiko tą natūralizmą ilgame turinyje, įvairiuose emociniuose kontekstuose ir įvairiose kalbėjimo situacijose – tai anksčiau nepasiektas pasiekimas šioje srityje.

Techninis KlingAI pagrindas yra kelių pažangiausių garso generavimo metodų konvergencija. Nors įmonė saugo tam tikrus savo architektūros aspektus, jie pasidalino pakankamai informacijos, kad suprastų bendrą sistemą.
Įkūrimo pradžioje KlingAI remiasi transformatoriais paremtais kalbos modeliais, panašiais į maitinimo sistemas, tokias kaip GPT-4, tačiau su esminėmis modifikacijomis, optimizuotomis garso generavimui. Šie modeliai apdoroja teksto įvestį, kad suprastų semantinę reikšmę, emocinį kontekstą ir struktūrinius elementus, kurie turėtų turėti įtakos garso išvestis.
„KlingAI“ išskirtinis yra dviejų etapų generavimo procesas:
Pirma, semantinis sluoksnis apdoroja įvestį, kad nustatytų ne tik kokius žodžius, bet ir kaip jie turėtų būti sakyti – užfiksuoti intencionalumą, emocinę potekstę ir pokalbio srautą.
Antra, akustinio modeliavimo sluoksnis šiuos sprendimus paverčia tikrosiomis garso bangomis, apimančiomis supratimą apie žmogaus balso takų fiziką, kambario akustiką ir psichoakustinius principus (kaip žmonės suvokia garsą).
Šiame antrajame etape yra svarbiausios KlingAI naujovės. Tradiciniai metodai paprastai veikia tiesiogiai su spektrogramomis ar kitais garso atvaizdais. Vietoj to KlingAI naudoja tai, ką jie vadina „artikuliaciniais parametrais“ – sudėtingą verčių rinkinį, atspindintį fizinius kalbos formavimo aspektus, tokius kaip liežuvio padėtis, lūpų apvalinimas, balso klosčių įtempimas ir oro srauto dinamika.
Sistema taip pat naudoja naują priešpriešinio mokymo formą, kai vienas neuroninis tinklas generuoja balsus, o kitas specializuotas tinklas bando juos atskirti nuo tikrosios žmogaus kalbos. Dėl šios nuolatinės grįžtamojo ryšio linijos sistema pasiekė tikroviškumo lygį, kuris nuolat apgauna net garso profesionalus atliekant akluosius testus.
Vienas ypač įspūdingas techninis pasiekimas yra KlingAI gebėjimas nuosekliai tvarkyti ilgos formos turinį. Daugelis AI balso sistemų gali skambėti įtikinamai trumpomis frazėmis, tačiau sunku išlaikyti nuoseklų charakterį ir natūralų ilgesnio turinio variaciją. „KlingAI“ architektūra apima dėmesio mechanizmus, kurie palaiko supratimą apie bendrą pasakojimo lanką ir kalbėjimo kontekstą, leidžiantį natūralų tempą, tinkamą akcentą ir autentiškai skambančius pateikimo variantus net ir per valandą trunkantį turinį.

Galbūt KlingAI labiausiai žavi ne tik gebėjimu atkartoti esamus balsus neįtikėtinu tikslumu, bet ir gebėjimu sukurti visiškai naujus balsus pagal nurodytas charakteristikas. Ši balso dizaino funkcija atveria kūrybines galimybes kur kas daugiau nei paprastos teksto į kalbą programos.
Praėjusį mėnesį dirbau su gamybos komanda, naudodama KlingAI, kad sukurčiau balsą animaciniam personažui – 65 metų žvejui iš Meino pakrantės, turinčiam visą gyvenimą pasakoti istorijas. Užuot ieškojusi tobulo balso aktoriaus, komanda naudojo KlingAI dizaino sąsają, kad nurodytų tokius parametrus kaip amžius, regioninio akcento įtaka, balso tembras, kalbėjimo tempas ir charakterio fonas. Sistema sugeneravo unikalų balsą, kuris puikiai įkūnijo personažą ir išliko visiškai originalus.
„KlingAI“ balso projektavimo sistema leidžia manipuliuoti šimtais parametrų, įskaitant:
Fizinės savybės: amžius, lytis, kūno dydis, balso takų ilgis
Akcentas ir tarmė: regioninės įtakos, daugiakalbiai elementai, idiolektų bruožai
Atlikimo stilius: pokalbio modeliai, profesionalūs kalbėjimo bruožai, charakterio keistenybės
Emocinis pradinis lygis: pagrindinis emocinis nusiteikimas ir reaktyvumas
Aplinkos veiksniai: Patalpos akustika, mikrofono charakteristikos, fono elementai
Šiuos parametrus galima reguliuoti naudojant intuityvią sąsają, kuri teikia grįžtamąjį ryšį realiuoju laiku, leidžiantį kūrėjams ištirti balso charakteristikų erdvę, nereikalaujant techninių garso apdorojimo ar lingvistikos žinių.
Kūrybinės programos apima ne tik pramogas. Švietimo turinio kūrėjai naudoja KlingAI, kad generuotų balsus, kurie, kaip rodo tyrimai, yra optimaliai įtraukiantys įvairias mokymosi aplinkybes ir studentų demografinius rodiklius. Rinkodaros komandos kuria prekės ženklo balsus, kurie puikiai įkūnija jų vertybes ir patinka tikslinei auditorijai. Žaidimų kūrėjai kuria dinamines balso sistemas, kuriose NPC balsai natūraliai skiriasi priklausomai nuo veikėjų istorijos ir situacijų.
Ši balso projektavimo galimybė yra kažkas iš esmės naujo kūrybinėje gamyboje – gebėjimas tiksliai sukurti vokalines asmenybes, o ne tiesiog pasirinkti iš turimų balso talentų ar priimti tradicinių sintetinių balsų apribojimus.

„KlingAI“ poveikis jau jaučiamas keliose pramonės šakose, naudojant programas, kurios gerokai viršija paprastą teksto į kalbą funkciją:
Pramogos ir žiniasklaidos gamyba
Studijos naudoja KlingAI, kad sukurtų nuoseklius balso pasirodymus dideliuose projektuose, pavyzdžiui, vaizdo žaidimų pasauliuose su šimtais personažų. Poprodukcijos komandos jį naudoja dialogui pakeisti, kai aktoriai nepasiekiami pakartotiniam filmavimui. Animacijos studijos jį naudoja, kad greitai prototipuotų personažų balsus prieš atleisdamos, o kartais net ir galutinei gamybai.
Ypač novatoriška programa atsirado, kai pagrindinė srautinio perdavimo paslauga naudojo KlingAI, kad sukurtų lokalizuotas savo dokumentinio turinio versijas. Užuot tiesiog dubliuodami su balso aktoriais iš tikslinių šalių, jie naudojo KlingAI kurdami regionui būdingus originalaus pasakotojo balso variantus – išsaugodami savitą asmenybę ir pateikimo stilių, o tarimą ir kalbos modelius pritaikydami taip, kad jie skambėtų natūraliai vietinei auditorijai.
Prieinamumo sprendimai
Leidėjams ir turinio kūrėjams „KlingAI“ pakeitė garso knygų gamybą, todėl ekonomiškai naudinga konvertuoti atgalinio sąrašo pavadinimus ir nišinius leidinius į aukštos kokybės garso patirtį. Ši technologija leidžia nuosekliai klausytis pasakotojų balsų visose serijose ir tinkamai atskirti veikėjų balsus – tai, su kuo susidūrė ankstesni AI garso sprendimai.
Organizacijos, aptarnaujančios regėjimo negalią turinčias bendruomenes, integravo KlingAI, kad paverstų tekstinį turinį į natūraliai skambantį garsą keliomis kalbomis ir tarmėmis, taip smarkiai išplėsdamos prieigą prie informacijos, kuri anksčiau galbūt niekada nebuvo įrašyta.
Įmonės ir rinkodaros programos
Įmonės kuria išskirtinius, nuoseklius prekės ženklo balsus, kurie gali pateikti viską nuo informacijos apie produktą iki klientų aptarnavimo sąveikos. Rinkodaros komandos kuria asmeninius garso pranešimus dideliu mastu, kreipiantis į atskirus klientus vardu, su šiltu pokalbiu, kuris anksčiau nebuvo įmanomas naudojant automatizuotą komunikaciją.
Vienas mažmeninės prekybos tinklas įdiegė KlingAI valdomus garso vadovus, kurie prisitaiko prie klientų demografinių rodiklių ir pageidavimų, pateikia informaciją apie produktą balsais ir kalbėjimo stiliais, kurie, kaip parodė tyrimai, sukūrė stipriausią ryšį su skirtingais klientų segmentais.
Švietimas ir mokymas
Švietimo leidėjai naudoja KlingAI, kad sukurtų patrauklias vadovėlių garso versijas su atitinkamais pateikimo stiliais, atsižvelgiant į turinio tipą – aiškinančią konceptualią medžiagą, entuziastingai ieškodama įdomių pavyzdžių, aiškių ir metodiškų nuoseklių nurodymų.
Įmonių mokymo skyriai sukuria nuoseklų mokymo turinį keliuose kursuose, užtikrindami, kad pagrindinė informacija būtų pateikiama tinkamai pabrėžiant, nepaisant to, kuris mokymo dizaineris sukūrė originalią medžiagą.
Suasmenintas turinys
Galbūt labiausiai į ateitį nukreiptos programos apima suasmenintą garso patirtį. Kelios naujienų organizacijos eksperimentuoja su KlingAI, kad prenumeratoriai galėtų klausytis straipsnių, skaitomų tokiais balsais, kurie jiems atrodo patraukliausi ar patikimiausi. Kalbų mokymosi platforma ją naudoja kurdama praktinius pokalbius akcentais ir kalbėjimo stiliais, labiausiai atitinkančiais kiekvieno mokinio mokymosi tikslus.
Šios įvairios programos demonstruoja „KlingAI“ universalumą, neapsiribojant paprasto balso sinteze, įgalinančias naujas garso turinio formas, kurios anksčiau buvo nepraktiškos arba neįmanomos.

„KlingAI“ galimybės neišvengiamai kelia svarbius etinius klausimus, kuriuos įmonė ir platesnė pramonė aktyviai sprendžia. Balso klonavimo ir netinkamo naudojimo galimybė kelia iššūkių, kuriems reikia ir technologinių apsaugos priemonių, ir atsakingos naudojimo politikos.
KlingAI įgyvendino keletą priemonių, skatinančių etišką savo technologijų naudojimą:
Balso sutikimo sistema: Klonuojant konkrečius atskirus balsus (pvz., profesionalių balso aktorių ar visuomenės veikėjų), KlingAI reikalauja dokumentais pagrįsto sutikimo ir įgyvendina sutartinius naudojimo apribojimus.
Vandenženklis ir aptikimas: visame sistemos sugeneruotame garse yra negirdimų vandens ženklų, kuriuos gali aptikti specializuota programinė įranga, padedanti išvengti piktnaudžiavimo klastotėmis ar apsimetinėjimo aferomis.
Naudojimo apribojimai: licencijavimo sąlygos draudžia tokias programas kaip manipuliavimas politiniu turiniu, melagingų atsiliepimų kūrimas arba potencialiai žalingo turinio kūrimas.
Priskyrimo reikalavimai: turinys, sukurtas naudojant KlingAI, turi būti aiškiai identifikuotas kaip AI sukurtas kontekste, kuriame klausytojai galėtų manyti, kad jis sukurtas žmogaus.
Be įmonės politikos, „KlingAI“ aktyviai dalyvauja pramonės iniciatyvose, kuriomis siekiama nustatyti etikos standartus sintetinėms laikmenoms. Jie bendradarbiavo su kitais AI lyderiais ir propagavimo organizacijomis kurdami aptikimo technologijas, skatindami skaidrumą ir pasisakydami už atitinkamas teisines sistemas.
Bendrovė taip pat gaiviai skaidriai kalbėjo apie apribojimus ir riziką. Jų dokumentuose aiškiai pripažįstami scenarijai, kai technologija gali būti netinkama, ir pateikia gaires, padedančias vartotojams priimti atsakingus sprendimus dėl diegimo.
Nors joks technologinis sprendimas negali visiškai pašalinti galimo piktnaudžiavimo, KlingAI iniciatyvus požiūris parodo supratimą, kad ilgalaikė sėkmė priklauso ne tik nuo techninių galimybių, bet ir nuo atsakingos plėtros, išlaikančios visuomenės pasitikėjimą.

Atsiradus tokioms technologijoms kaip KlingAI, susirūpinimas dėl žmogaus balso atlikėjų perkėlimo yra natūralus ir pagrįstas. Tačiau tikroji rinkos dinamika pasirodė sudėtingesnė ir galbūt simbiotiškesnė nei paprastas pakeitimas.
Sarah Jensen, profesionali balso atlikėja, dirbusi su KlingAI, apibūdino savo patirtį: „Iš pradžių nedvejojau, kai buvau kreiptasi dėl balso licencijavimo jų sistemai. Tačiau mūsų sukurtas susitarimas iš tikrųjų išplėtė mano pasiekiamumą ir sukūrė naujų pajamų srautų. Dabar mano balsas gali būti rodomas projektuose, kurių biudžetai niekada negalėjo leisti pritaikyti įrašymo seansų, o aš kontroliuoju, kaip jis naudojamas.
Atsirado keletas įdomių modelių:
Balso licencijavimo partnerystės: Balso profesionalai licencijuoja savo išskirtinius balsus, kad jie būtų pasiekiami KlingAI sistemoje, ir gauna honorarą, kai jų balso modeliai naudojami gamyboje.
Žmogaus ir AI bendradarbiavimas: gamybos darbo eigos, kai balso atlikėjai įrašo pagrindinius emocinius ar pagrindinius segmentus, o „KlingAI“ generuoja atitinkamą balsą, kad gautų įprastesnį turinį ir sukurtų vientisą derinį.
Nauji specializuoti vaidmenys: balso atlikėjai, tobulinantys „balso nukreipimo“ AI sistemų patirtį, naudodami savo žinias apie veiklą, kad gautų geriausius technologijos rezultatus.
Išplėstos rinkos galimybės: smarkiai sumažinus aukštos kokybės balso turinio kainą, buvo pritaikyta medžiaga, kuri anksčiau niekada nebūtų pateisinusi žmogaus balso įrašymo išlaidų.
Tokios organizacijos kaip Balso aktorių gildija bendradarbiavo su KlingAI, siekdamos sukurti teisingus kompensavimo modelius ir naudojimo gaires, kurios apsaugotų atlikėjų interesus ir leistų tobulėti technologijai. Šie bendradarbiavimo metodai rodo ateitį, kurioje AI balso technologija išplečia kūrybines galimybes, o ne paprasčiausiai pakeis žmogaus talentą.

„KlingAI“ laimėjimai yra reikšmingas DI kuriamo garso etapas, tačiau technologija ir toliau sparčiai vystosi. Kelios atsirandančios kryptys rodo, kur toliau nukreipiamas laukas:
Pokalbio dinamika: kita riba apima ne tik vienpusį pristatymą, bet ir tikrai interaktyvią balso patirtį su tinkamu posūkiu, pertraukimų valdymu ir pokalbio srautu.
Emocinis intelektas: Ateities sistemose greičiausiai bus dar sudėtingesnis emocinis modeliavimas, kurio balsai natūraliai reaguoja į emocinį turinį ir gali perteikti sudėtingas emocines būsenas.
Kryžminis modalinis suderinamumas: integracija su kitomis dirbtinio intelekto sistemomis sukurs patirtį, kurioje balsas, veido išraiškos, kūno kalba ir sukurtas tekstas veiks nuosekliai.
Prisitaikymas realiuoju laiku: atsirandančios galimybės leis balso sistemoms realiuoju laiku prisitaikyti prie klausytojų reakcijos, aplinkos pokyčių ar besikeičiančių kontekstinių poreikių.
Kūrybinės partnerystės įrankiai: naujos sąsajos sukurs dirbtinio intelekto balso sistemas kaip bendradarbiavimo priemones, padedančias kūrėjams tyrinėti galimybes, o ne tiesiog vykdyti specifikacijas.
KlingAI jau paskelbė apie mokslinių tyrimų iniciatyvas keliose iš šių sričių, o tai rodo, kad jie ketina išlaikyti savo poziciją šios srities priešakyje. Neseniai pademonstruota prototipo sistema, galinti palaikyti pokalbių nuoseklumą per išplėstinius mainus pirmyn ir atgal, rodo galimybes, kurios netrukus gali pereiti nuo tyrimų prie praktinio įgyvendinimo.

Dirbtinio intelekto sukurto garso raida, kurią iliustruoja novatoriškas KlingAI požiūris, yra daugiau nei tik techninis laimėjimas – tai įgalina naujas komunikacijos, kūrybiškumo ir turinio formas, kurios anksčiau nebuvo įmanomos.
Technologijoms toliau tobulėjant, tikėtina, kad AI generuojami balsai vis sklandžiau integruosis į mūsų kasdienę patirtį – nuo natūralesnių skaitmeninių asistentų iki suasmeninto garso turinio, kuris prisitaiko prie mūsų pageidavimų ir poreikių. Pramogos taps labiau įtraukiančios dėl įvairių ir autentiškai skambančių veikėjų balsų. Mokomasis turinys įtrauks besimokančiuosius per pristatymą, optimizuotą supratimui ir išlaikymui.
Tai, kas daro KlingAI ypač reikšmingą šioje evoliucijoje, yra ne tik techninė jų sprendimo kokybė, bet ir apgalvotas požiūris į kūrybines programas ir etinius sumetimus. Kurdami sistemą, skatinančią bendradarbiavimą su žmogaus balso specialistais ir įgyvendindami apsaugos priemones nuo netinkamo naudojimo, jie parodo, kaip dirbtinis intelektas gali padidinti žmogaus kūrybiškumą, o ne tiesiog jį automatizuoti.
Balso ateitis nėra nei tik žmogiška, nei visiškai dirbtinė, o veikiau apgalvota integracija, kuri išsaugo žmogaus kalbos autentiškumą ir emocinį ryšį, kartu išnaudojant AI pritaikymo, nuoseklumo ir masto galimybes. „KlingAI“ naujovės gerokai priartino mus prie tos subalansuotos ateities – tokios, kur technologijos pagerina mūsų gebėjimą bendrauti ir prisijungti pasitelkiant balso galią.