Kaip įvertinti „Chatbot“ našumą: metrika, kuri iš tikrųjų svarbi

Praėjusį mėnesį dalyvavau susitikime, kuriame produktų komanda šventė savo pokalbių roboto „sėkmę“, remdamasi įspūdingai atrodančiais skaičiais: 95 % veikimo laikas, 3 sekundžių atsako laikas ir 10 000 užklausų kasdien. Vis dėlto klientų pasitenkinimo balai smuko, o palaikymo komanda paskendo išaugusiuose bilietuose. Nepaisant palankių techninių rodiklių, pokalbių robotas nepavyko pasiekti pagrindinio tikslo – padėti vartotojams efektyviai išspręsti problemas.
Šis metrikos ir faktinio našumo atskyrimas nėra neįprasta. Daugelis organizacijų pakliūva į spąstus, nes vertina tai, ką lengva atsekti, o ne tai, kas tikrai svarbu. Jie sutelkia dėmesį į techninę metriką, kuri ataskaitose atrodo gerai, bet nesugeba užfiksuoti, ar pokalbių robotas teikia realią vertę vartotojams ir verslui.
Tradicinė metrika, pvz., veikimo laikas, atsako laikas ir užklausų apimtis, suteikia tik dalinį pokalbių roboto efektyvumo vaizdą. Šie matavimai gali parodyti, ar jūsų pokalbių robotas veikia taip, kaip suplanuotas, tačiau jie mažai atskleidžia, kaip jis patenkina vartotojų poreikius ar skatina verslo tikslus. Pokalbių robotas gali puikiai veikti ir vis tiek visiškai nepatenkinti vartotojo lūkesčių.
Norint iš tikrųjų įvertinti pokalbių roboto našumą, mums reikia metrikos, kuri atspindėtų ir veiklos efektyvumą, ir efektyvumą vartotojo požiūriu. Mums reikia matavimų, kurie susietų pokalbių robotų sąveiką su apčiuopiamais verslo rezultatais ir vartotojų pasitenkinimu. Šiame straipsnyje išnagrinėsiu metrikas, kurios iš tikrųjų yra svarbios vertinant pokalbių roboto našumą, remdamasis savo patirtimi diegiant ir optimizuojant pokalbio AI sistemas įvairiose pramonės šakose.

Kai padėjau pertvarkyti sveikatos priežiūros paslaugų teikėjo susitikimų planavimo pokalbių robotą, atradome kai ką stebinančio: greitai planavimo užduotis įvykdę vartotojai dažnai buvo mažiau patenkinti nei tie, kuriems užtruko šiek tiek ilgiau, bet proceso metu gavo daugiau kontekstinės informacijos. Ši įžvalga sugriovė mūsų prielaidas apie efektyvumą ir pabrėžė pagrindinę pasitenkinimo svarbą kaip pagrindinį pokalbių roboto sėkmės matą.
Naudotojų pasitenkinimas turėtų būti jūsų „North Star“ metrika – pagrindinis rodiklis, kuriuo vadovaujamasi visose kitose optimizavimo pastangose. Štai kaip jį efektyviai išmatuoti:
Klientų pasitenkinimo balas (CSAT): po pokalbių roboto sąveikos paprašykite vartotojų įvertinti savo patirtį skalėje (paprastai nuo 1 iki 5). Klausimas turėtų būti paprastas ir neatidėliotinas: „Kaip įvertintumėte savo patirtį su mūsų pokalbių robotu šiandien? Tai suteikia tiesioginį grįžtamąjį ryšį apie vartotojo suvokimą.
„Net Promoter Score“ (NPS): nors tradiciškai naudojamas įmonės lygiu, NPS galima pritaikyti pokalbių roboto vertinimui užduodant klausimą: „Ar tikėtina, kad rekomenduosite mūsų pokalbių robotą kitiems, turintiems panašių klausimų? Tai padeda įvertinti, ar naudotojai rado pakankamai vertės, kad palaikytų jūsų sprendimą.
Klientų pastangų balas (CES): matuoja, kiek pastangų, naudotojų nuomone, turėjo skirti, kad problema būtų išspręsta. Paprastas klausimas, pvz., „Ar lengva buvo gauti reikiamą pagalbą iš mūsų pokalbių roboto? gali suteikti vertingų įžvalgų apie vartotojo patirties trinties taškus.
Apklausos po sąveikos: be skaitinių įvertinimų, rinkite kokybinius atsiliepimus su atvirais klausimais, pvz., „Kas būtų pagerinęs jūsų patirtį?“ arba "Kas jums pasirodė naudingiausia šioje sąveikoje?" Šie atsakymai dažnai atskleidžia konkrečias tobulinimo galimybes, kurių vien tik metrika gali praleisti.
Nepageidaujamų atsiliepimų analizė: stebėkite ir suskirstykite į kategorijas naudotojų komentarus tiesiogiai pokalbių robotui apie jo veikimą ("Jūs manęs nesuprantate" arba "Tai buvo tikrai naudinga"). Šis netikėtas grįžtamasis ryšys gali būti ypač vertingas, nes jis pateikiamas patirties momentu, o ne apmąstant.
Tikroji galia gaunama trianguliuojant šias skirtingas pasitenkinimo priemones ir stebint jas laikui bėgant. Ieškokite šablonų skirtinguose naudotojų segmentuose, užklausų tipuose ir pokalbių srautuose. Kai pasitenkinimo metrika tam tikrose srityse mažėja, įsigilinkite į pagrindinius pokalbius, kad suprastumėte, kas vyksta.
Atminkite, kad pasitenkinimas nėra pastovus – naudotojų lūkesčiai kinta, kai jie labiau susipažįsta su jūsų pokalbių robotu ir apskritai tobulėja technologijos. Pasitenkinimo įvertinimas, kuris buvo puikus prieš metus, šiandien gali būti tiesiog pakankamas. Nuolat stebėdami šiuos rodiklius galėsite neatsilikti nuo besikeičiančių lūkesčių.

Peržiūrėdami el. prekybos pokalbių robotą nustatėme, kad jis turi nerimą keliantį modelį: vartotojai klausdavo apie pristatymo parinktis, pokalbių robotas pateikdavo nuorodą į pristatymo politikos puslapį ir pokalbis baigdavosi. Komanda tai įvertino kaip „išspręstas“ sąveikas, tačiau tolesnė analizė parodė, kad daugelis vartotojų po to nedelsdami susisiekė su žmogiškąja pagalba. Sąveika iš tikrųjų nesprendė klientų poreikių – jie tiesiog juos nukreipė.
Skiriamoji geba iš esmės yra susijusi su įvertinimu, ar vartotojai atlieka tai, ką turėjo padaryti. Štai kaip tinkamai įvertinti šią svarbią metriką:
Pirmojo kontakto sprendimas (FCR): kiek procentų vartotojų problemų išsprendžiama per pirmą sąveiką su pokalbių robotu, nereikalaujant tolesnių pokalbių ar perkėlimo į žmones? Tai ypač svarbu klientų aptarnavimo pokalbių robotams, kur efektyvumas yra svarbiausias.
Tikslo įvykdymo rodiklis: kiek procentų vartotojų, kurie pradeda konkretų procesą (pvz., paskyros kūrimą, susitikimų planavimą ar užsakymų stebėjimą), sėkmingai užbaigia jį pokalbių robote? Išskaidžius tai pagal skirtingus naudotojų ketinimus, gaunama išsami įžvalga apie tai, kur jūsų pokalbių robotas pasižymi pranašumais ar sunkumais.
Eskalavimo rodiklis: kiek procentų pokalbių perduodama agentams? Nors kai kurie eskalavimo veiksmai yra tinkami ir netgi pageidautini sprendžiant sudėtingas problemas, didelis arba didėjantis eskalavimo rodiklis gali rodyti jūsų pokalbių roboto galimybių ar supratimo spragas.
Savitarnos rodiklis: kiek procentų visų klientų aptarnavimo sąveikų visiškai tvarko pokalbių robotas, o ne reikalauja žmogaus įsikišimo? Tai padeda kiekybiškai įvertinti pokalbių roboto poveikį bendroms palaikymo operacijoms.
Nutraukimo rodiklis: kiek procentų vartotojų pasitraukia iš pokalbių nepasiekę sprendimo? Didelis atsisakymas tam tikruose pokalbių srauto taškuose gali išryškinti problemines sritis, kurias reikia tobulinti.
Kad ši metrika būtų prasmingiausia, segmentuokite jas pagal skirtingus naudotojų ketinimus, klientų tipus arba pokalbio sudėtingumą. 70 % skyros rodiklis gali būti puikus sudėtingiems produktų rekomendacijų scenarijams, bet prastas paprastiems DUK tipo klausimams.
Taip pat atsižvelkite į laiko aspektą – rezoliucija, kuriai reikia dvidešimties pokalbių pirmyn ir atgal, techniškai gali būti laikoma „išspręsta“, bet greičiausiai tai rodo neefektyvų pokalbio planavimą. Sujungus skiriamosios gebos metriką su pokalbio trukmės ir trukmės metrika, gaunamas išsamesnis efektyvumo vaizdas.

Finansinių paslaugų pokalbių robotas, kurį įvertinau, turėjo stiprią užduočių atlikimo metriką sąskaitos likučio užklausoms, tačiau jam nepavyko užmegzti santykių su klientais. Peržiūrėjus pokalbių stenogramas paaiškėjo, kodėl: atsakymai buvo techniškai tikslūs, bet staigūs ir neasmeniški, todėl naudotojai jautėsi neįvertinti, ypač daug dėmesio skiriančioje pramonėje, kur pasitikėjimas yra būtinas.
Pokalbių roboto pokalbių kokybė apima tiek pateiktos informacijos tikslumą, tiek jos pateikimo būdą. Štai kaip įvertinti šį kritinį aspektą:
Atsakymo tinkamumas: kaip tiesiogiai pokalbių robotas sprendžia konkrečią užklausą? Tai galima išmatuoti rankiniu būdu peržiūrint pokalbių pavyzdžius arba automatizuotas sistemas, įvertinančias semantinį klausimų ir atsakymų panašumą.
Kontekstinis supratimas: ar pokalbių robotas išlaiko kontekstą kelių pokalbių metu? Įvertinkite, kaip dažnai naudotojams reikia kartoti informaciją, kurią jie jau pateikė, arba pataisykite pokalbių roboto supratimą apie savo ketinimus.
Pokalbio srauto natūralumas: kaip sklandžiai vyksta pokalbiai? Ieškokite nepatogių perėjimų, pasikartojančių atsakymų ar atvejų, kai pokalbių robotas nesilaiko pokalbio normų. Tam dažnai reikia atlikti kokybinę peržiūrą, tačiau ją galima papildyti naudotojų atsiliepimų duomenimis.
Klaidų atkūrimo rodiklis: kai pokalbių robotas neteisingai supranta vartotoją, kaip efektyviai jis atsikuria? Įvertinkite, kiek nesusipratimų buvo sėkmingai išaiškinta, palyginti su naudotojo nusivylimu ar pokalbio nutraukimu.
Pokalbio gylis: kiek reikšmingi mainai? Stebėkite metriką, pvz., vidutinį pokalbio apsisukimų skaičių ir pokalbio trukmę, suprasdami, kad tinkamas gylis skiriasi priklausomai nuo naudojimo atvejų. Klientų aptarnavimo pokalbių robotas gali siekti veiksmingos, trumpesnės sąveikos, o pardavimo ar patariamieji pokalbių robotai gali vertinti gilesnį įsitraukimą.
Žmogaus eskalavimo kokybė: ar perėjimas vyksta sklandžiai, kai pokalbiai perduodami žmonėms? Išmatuokite, kaip dažnai tinkamai išsaugomas kontekstas ir ar naudotojams reikia kartoti informaciją, kurią jau pateikė pokalbių robotui.
Norint įvertinti pokalbių kokybę, dažnai reikia derinti automatinę metriką su žmogaus atliekama pokalbių pavyzdžių peržiūra. Apsvarstykite galimybę įgyvendinti reguliarų kokybės užtikrinimo procesą, kai komandos nariai įvertintų atsitiktinai atrinktus pokalbius pagal standartizuotą rubriką, apimančią aukščiau nurodytus aspektus.
Atminkite, kad pokalbio kokybės lūkesčiai labai skiriasi priklausomai nuo konteksto. Medicinos pokalbių robotas pirmiausia turi teikti pirmenybę tikslumui ir aiškumui, o prekės ženklo įtraukimo pokalbių robotas gali teikti didesnę reikšmę asmenybei ir santykių kūrimui. Jūsų vertinimo kriterijai turėtų atspindėti konkretų vaidmenį, kurį turi atlikti jūsų pokalbių robotas.

Kai dirbau su mažmeniniu klientu prie jų klientų aptarnavimo pokalbių roboto, iš pradžių daugiausia dėmesio buvo skirta palaikymo metrikai. Tik tada, kai pradėjome stebėti pirkimo elgseną po pokalbio, atradome kai ką stebinančio: klientų, kurie naudojo pokalbių robotą klausimams apie produktą, konversijų rodiklis buvo 32 % didesnis nei tų, kurie to nedarė. Ši įžvalga visiškai pakeitė tai, kaip įmonė vertino ir investavo į savo pokalbių roboto programą.
Norint pateisinti nuolatines investicijas į pokalbių robotų technologiją, jums reikia metrikos, rodančios apčiuopiamą poveikį verslui:
Sąnaudų sutaupymas: apskaičiuokite sąnaudų skirtumą tarp pokalbių roboto valdomų sąveikų ir sąveikų, kurioms reikalingi žmonės. Tai paprastai apima agento darbo laiko sąnaudas, bet taip pat gali apimti sumažintas mokymo išlaidas ir didesnį veiklos efektyvumą. Atlikite išsamią analizę – apsvarstykite, kaip pokalbių roboto įvedimas įtakoja apdorojimo laiką ir pirmojo skambučio sprendimą dėl problemų, kurios pasiekia žmonių agentus.
Įtaka pajamoms: stebėkite pirkimo rodiklius, vidutines užsakymų vertes arba vartotojų, kurie sąveikauja su pokalbių robotu, ir tų, kurie to nedaro, konversijų rodiklius. Jei naudojate pardavimą orientuotus pokalbių robotus, matuokite tokius rodiklius kaip sugeneruoti kvalifikuoti potencialūs klientai arba palengvintas susitikimų užsakymas.
Poveikis klientų išlaikymui: analizuokite, ar jūsų pokalbių robotu besidominčių klientų išlaikymo rodikliai skiriasi nuo tų, kurie to nedaro. Tai ypač svarbu prenumeratos įmonėms, kuriose pagrindinė metrika yra viso laikotarpio vertė.
Veiklos efektyvumas: išmatuokite, kaip pokalbių roboto diegimas veikia pagrindines veiklos metrikas, pvz., vidutinį apdorojimo laiką, laukimo eilės laikotarpius, palaikymo komandos pajėgumus ir piko laiko valdymą.
Investicijų grąža (IG): derinkite sutaupytas išlaidas, pajamų generavimą ir diegimo/priežiūros išlaidas, kad apskaičiuotumėte bendrą investicijų grąžą savo pokalbių roboto iniciatyvai.
Klientų patirties koreliacija: ieškokite sąsajų tarp pokalbių roboto sąveikos ir platesnės klientų patirties metrikos, pvz., bendros NPS arba kliento viso laikotarpio vertės. Ar pokalbių roboto naudojimas atitinka stipresnius santykius su klientais?
Kad ši metrika būtų prasmingiausia, prieš diegdami ar tobulindami pokalbių robotą nustatykite aiškią bazinę liniją ir nuolat stebėkite pokyčius laikui bėgant. Jei įmanoma, naudokite kontrolines grupes arba A/B testavimą, kad atskirtumėte specifinį pokalbių roboto poveikį nuo kitų kintamųjų.
Taip pat apsvarstykite, kaip pokalbių roboto veikimas veikia įvairias verslo funkcijas. Klientų aptarnavimo pokalbių robotas pirmiausia gali suteikti vertę taupydamas išlaidas, o rinkodaros pokalbių robotas gali būti labiau vertinamas pagal potencialių klientų generavimo metriką. Suderinkite savo verslo poveikio metriką su konkrečiais jūsų pokalbių roboto programos tikslais.

Sveikatos priežiūros paslaugų teikėjas, su kuriuo konsultavausi, negalėjo suprasti, kodėl jų simptomų vertinimo pokalbių robotas turėjo tokį didelį atsisakymo lygį, nepaisant didelio kontroliuojamų testų tikslumo. Problema išaiškėjo, kai išnagrinėjome našumo žurnalus: piko valandomis atsako laikas pailgėjo nuo 2 sekundžių iki daugiau nei 15 sekundžių, todėl nusivylę vartotojai pasitraukė nesulaukę pagalbos. Techninis našumas buvo ne tik pagrindinis susirūpinimas – jis turėjo tiesioginės įtakos vartotojo patirčiai.
Nors techninės metrikos neturėtų būti vienintelis jūsų dėmesys, jie suteikia pagrindą, kuris įgalina visa kita. Pagrindiniai techninio veikimo rodikliai yra šie:
Reagavimo laikas: kaip greitai pokalbių robotas reaguoja į vartotojo įvestį? Tai turėtų būti vertinama pagal skirtingus užklausų tipus ir naudojimo sąlygas, ypač didžiausio srauto laikotarpiais.
Veikimo laikas ir pasiekiamumas: kiek procentų laiko pokalbių robotas veikia visiškai? Stebėkite ir visiškus gedimus, ir pablogėjusio našumo laikotarpius.
Klaidų rodiklis: kaip dažnai pasitaiko techninių klaidų (o ne pokalbio nesusipratimų)? Tai apima foninės sistemos gedimus, integravimo problemas arba bet kokias technines problemas, kurios trikdo vartotojo patirtį.
Mastelio našumas: kaip reakcijos laikas ir tikslumas išlieka didėjant apkrovai? Testavimas nepalankiausiomis sąlygomis gali padėti nustatyti galimas kliūtis, kol jos nepaveiks realių vartotojų.
Platformos suderinamumas: kaip nuosekliai pokalbių robotas veikia skirtinguose įrenginiuose, naršyklėse ir operacinėse sistemose? Dėl skirtumų vartotojų pogrupiai gali būti varginantys.
Integravimo patikimumas: jei jūsų pokalbių robotas jungiasi su kitomis sistemomis (pvz., CRM, inventoriaus ar rezervavimo sistemomis), kiek patikimi šie ryšiai? Nesėkminga integracija dažnai veda į pokalbių aklavietes.
Techninės veiklos rodikliai turėtų apimti ir vidurkius, ir skirstinius. Pokalbių robotas, kuris reaguoja vidutiniškai per 2 sekundes, bet dažnai turi 30 sekundžių nuokrypius, gali sukelti didesnį vartotojo nusivylimą nei tas, kurio atsako laikas yra pastovus 3 sekundės.
Taip pat apsvarstykite technines charakteristikas skirtinguose naudotojų segmentuose ir geografinėse vietovėse. Veiklos problemos dažnai neproporcingai paveikia tam tikras vartotojų grupes, todėl kyla problemų teikiant paslaugas.
Nors dauguma organizacijų stebi pagrindinius techninius rodiklius, svarbiausia yra susieti juos su vartotojo patirties poveikiu. Atsakymo laikas nėra tik techninė problema – jis tiesiogiai veikia vartotojų pasitenkinimą ir užduočių atlikimo rodiklius. Aiškiai nurodykite šiuos ryšius, kai pranešate apie techninius rezultatus.

Vienas iš sėkmingiausių pokalbių robotų diegimų, kurį mačiau, buvo draudimo bendrovė, kurios našumo rodikliai iš pradžių buvo vidutiniški. Juos išskyrė griežtas požiūris į nuolatinį tobulėjimą. Jie stebėjo neatpažintus vartotojų ketinimus, sistemingai pridėjo naujų galimybių pagal nustatytas spragas ir įvertino, kaip kiekvienas patobulinimas paveikė bendrą našumą. Per šešis mėnesius jų pokalbių robotas tapo konkurenciniu pranašumu.
Norint užtikrinti ilgalaikę sėkmę, būtina įvertinti pokalbių roboto gebėjimą laikui bėgant tobulėti:
Žinių spragų identifikavimo rodiklis: kaip efektyviai jūsų sistema nustato ir registruoja vartotojo klausimus, į kuriuos negali atsakyti? Šios spragos rodo tobulėjimo galimybes.
Naujų ketinimų atradimas: kiek naujų naudotojų ketinimų (dalykų, kuriuos vartotojai nori pasiekti) nustatoma laikui bėgant? Tai padeda įvertinti, kaip išplečiate pokalbių roboto galimybes, atsižvelgiant į faktinį naudojimą.
Mokymosi įgyvendinimo rodiklis: kai nustatomos spragos, kaip greitai jos pašalinamos naudojant naują turinį ar galimybes? Tai matuoja jūsų tobulėjimo greitį.
Klaidingai teigiamas rodiklis: kaip dažnai pokalbių robotas klaidingai mano, kad supranta vartotojo ketinimą, o iš tikrųjų to nesupranta? Laikui bėgant šio rodiklio mažėjimas rodo geresnį supratimą.
Vartotojų atsiliepimų įgyvendinimas: kaip efektyviai vartotojų atsiliepimai įtraukiami į pokalbių roboto patobulinimus? Stebėkite naudotojų pasiūlymų, kurie veda prie faktinių patobulinimų, procentą.
Modelio našumo tendencijos: jei naudojate dirbtinio intelekto pokalbių robotus, stebėkite, kaip laikui bėgant tobulėja pagrindinė mašininio mokymosi metrika, pvz., ketinimų klasifikavimo tikslumas ir objektų atpažinimas.
A/B testavimo apimtis: kiek patobulinimų sistemingai tikrinama? Aktyvesnis testavimas paprastai koreliuoja su greitesniu tobulėjimu.
Nustatykite reguliarius peržiūros ciklus, kai jūsų komanda analizuoja šią metriką, nustato patobulinimų prioritetus ir įvertina pakeitimų poveikį. Sėkmingiausiose pokalbių robotų programose paprastai yra skirtas nuolatinis tobulinimo procesas, o ne atsitiktiniai atnaujinimai.
Apsvarstykite galimybę sukurti „mokymosi informacijos suvestinę“, kuri vizualizuotų, kaip laikui bėgant vystosi jūsų pokalbių robotas, pabrėžiant sėkmę ir sritis, į kurias reikia atkreipti dėmesį. Tai padeda sukurti organizacinį pasitikėjimą pokalbių roboto trajektorija ir pateisina nuolatines investicijas į patobulinimus.

Vertindami vyriausybinės agentūros piliečiams skirtą pokalbių robotą, nustatėme nerimą keliančius sėkmės rodiklių skirtumus įvairiose demografinėse grupėse. Anglų kalbos besimokančių ir vyresnio amžiaus naudotojų patirtis labai skyrėsi nei „vidutinio“ naudotojo, kuris atsispindi bendroje metrikoje, patirtis. Tai pabrėžė, kaip labai svarbu įvertinti įtrauktį kaip pagrindinį našumo aspektą.
Tikrai sėkmingas pokalbių robotas veiksmingai aptarnauja visus vartotojus, o ne tik tuos, kurie atitinka tikėtiną profilį:
Demografinio našumo palyginimas: palyginkite pagrindines metrikas, pvz., užduočių atlikimą ir pasitenkinimą įvairiuose naudotojų segmentuose, įskaitant amžiaus grupes, kalbos mokėjimo lygius, techninio patogumo lygius ir prieinamumo poreikius.
Kalbos palaikymo efektyvumas: jei jūsų pokalbių robotas palaiko kelias kalbas, išmatuokite jų našumo lygiavertiškumą. Nepagrindinės kalbos dažnai rodo žymiai silpnesnį našumą be ypatingo dėmesio.
Prieinamumo laikymasis: reguliariai atlikite prieinamumo standartų, pvz., WCAG, auditą. Stebėkite techninę atitiktį ir faktinį skirtingų gebėjimų naudotojų tinkamumą naudoti.
Alternatyvaus kelio prieinamumas: išmatuokite, kaip lengvai vartotojai gali pasiekti alternatyvius palaikymo kanalus, kai reikia, ir kaip šie perėjimai išsaugo kontekstą.
Įtraukiančio dizaino patobulinimai: stebėkite įtraukiųjų dizaino funkcijų įgyvendinimą ir įvertinkite jų poveikį našumo skirtumams tarp vartotojų grupių.
Skaitomumo lygiai: analizuokite skaitymo lygį, reikalingą efektyviam pokalbių roboto naudojimui. Didesnis sudėtingumas dažnai koreliuoja su sumažintu prieinamumu tam tikroms vartotojų grupėms.
Demografiniai duomenys turi būti renkami apgalvotai ir tinkamai apsaugant privatumą. Apsvarstykite galimybę atlikti savanoriškas apklausas, naudotojų tyrimus su įvairiais dalyviais arba geografinių ar įrenginio duomenų analizę kaip pakaitinius rodiklius, jei reikia.
Kai nustatomi skirtumai, nustatykite konkrečius tikslus, kaip sumažinti veiklos spragą. Pokalbių robotas, kuris kai kuriems vartotojams puikiai veikia, bet kitiems žlunga, nenusipelno būti vadinamas sėkmingu, nepaisant jo vidutinių metrikų.

Fintech įmonėje, kuriai konsultavau, kiekvienas skyrius turėjo savo pokalbių roboto sėkmės apibrėžimą: inžinerija buvo sutelkta į veikimo laiką, klientų aptarnavimas nukreiptas į nukreipimo rodiklius, rinkodara apie švino surinkimą, o generalinis direktorius norėjo IG skaičių. Be vieningos vertinimo sistemos, pokalbių robotas vienu metu buvo paskelbtas ir sėkmingu, ir nesėkmingu, priklausomai nuo to, ko paklausėte.
Kad išvengtumėte šio nenuoseklaus požiūrio, sukurkite subalansuotą rezultatų kortelę, kurioje būtų integruota visų svarbių aspektų metrika:
Tinkama svorio metrika: ne visos metrikos nusipelno vienodo dėmesio. Nustatykite santykinę skirtingų priemonių svarbą, atsižvelgdami į konkrečius verslo tikslus ir pokalbių roboto paskirtį.
Sukurkite sudėtinius balus: kiekvienai pagrindinei kategorijai (pasitenkinimas, ryžtas, pokalbio kokybė ir kt.) apsvarstykite galimybę sukurti sudėtinius balus, kurie sujungtų susijusias metrikas į vieną rodiklį. Tai padeda supaprastinti aukšto lygio ataskaitų teikimą, kartu išlaikant išsamias veiklos tobulinimo priemones.
Nustatykite etalonus ir tikslus: apibrėžkite, kaip atrodo „gerai“ kiekvienai metrikai, atsižvelgdami į pramonės etalonus, istorinius rezultatus arba strateginius tikslus. Taip sukuriami aiškūs nuolatinio vertinimo sėkmės kriterijai.
Vizualizuokite ryšius tarp metrikų: kurkite informacijos suvestines, kuriose pabrėžiama, kaip skirtingos metrikos veikia viena kitą. Tai padeda nustatyti, kurie patobulinimai gali turėti didžiausią poveikį.
Pirmaujančių ir vėluojančių rodiklių pusiausvyra: įtraukite ir į ateitį nukreiptą metriką, numatančią būsimą našumą (pvz., žinių spragos nustatymą), ir į atgalinę metriką, kuri įvertina rezultatus (pvz., skyros rodiklį).
Reguliariai peržiūrėkite ir koreguokite: bręstant jūsų pokalbių robotui ir tobulėjant verslo poreikiams, turėtų tobulėti ir jūsų vertinimo sistema. Kas ketvirtį peržiūrėkite metriką, kad įsitikintumėte, jog jos vis dar atspindi tai, kas svarbiausia.
Veiksmingiausi pokalbių robotų vertinimo metodai sujungia kiekybinę metriką su kokybinėmis įžvalgomis iš pokalbių apžvalgų, vartotojų tyrimų ir atsiliepimų analizės. Skaičiai parodo, kas vyksta; pokalbio analizė paaiškina, kodėl.

Per daugelį metų diegdamas ir optimizuodamas pokalbių robotus įvairiose pramonės šakose, mačiau, kaip tinkama metrika skatina nuolatinį tobulėjimą, o netinkama metrika sukuria klaidingą pasitikėjimą arba netinkamą dėmesį. Šiame straipsnyje aprašytos metrikos nėra tik matavimo įrankiai – tai sistemos, leidžiančios mąstyti apie tai, kas iš tikrųjų svarbu pokalbio patirčiai.
Sėkmingiausios organizacijos pokalbių robotų vertinimą vertina ne kaip ketvirtinį ataskaitų rengimą, o kaip nuolatinį mokymosi ir tobulinimo procesą. Jie naudoja metrikas, kad nustatytų konkrečias tobulinimo galimybes, pirmenybę teikia patobulinimams, kurie teikia didžiausią vertę, ir patvirtina, kad pakeitimai turi numatytą poveikį.
Kadangi pokalbio AI ir toliau tobulėja, mūsų vertinimo metodai turi tobulėti kartu su juo. Šiandien svarbią metriką gali reikėti patobulinti, nes keičiasi vartotojų lūkesčiai ir plečiasi galimybės. Tai, kas išlieka pastovi, yra būtinybė sutelkti dėmesį į metriką, tiesiogiai susijusią su vartotojų poreikiais ir verslo rezultatais, o ne tik į technines galimybes.
Įvertindami tai, kas tikrai svarbu – pasitenkinimą, ryžtą, pokalbių kokybę, poveikį verslui, techninį pagrindą, nuolatinį tobulėjimą ir įtraukumą – sukuriate atsakomybę už pokalbių roboto patirtį, kuri tikrai tarnautų vartotojams ir padėtų siekti verslo tikslų. Ši metrika paverčia pokalbių robotus iš technologinių naujovių į vertingą verslo turtą, kuris tobulėja su kiekviena sąveika.
Ateitis priklauso organizacijoms, kurios gali kurti nuolat tobulėjančią, tikrai naudingą pokalbio patirtį. Tinkama metrika ne tik parodo, ar šiandien jums sekasi – jie nušviečia kelią į dar geresnius rezultatus rytoj.