Głosowy asystent w grach równy przeciwnik czy przewodnik?

Obecności Google Assistant w rozmowach polskich internautów ostatnio nie sposób było pominąć. Wiele portali, blogerów, a nawet lokalnych gazet weszło w polemike z czytelnikami dyskutując o zaletach i wadach technologii głosowych. Zupełnie nie dziwi mnie to poruszenie, ponieważ sama wdrażając się w świat interfejsów głosowych byłam zdumiona jak dużo rozwiązań jest już dostępych na rynku. Nie mniej jednak zawsze spoglądałam na coraz to nowsze aplikacje z dozą niedowierzenia i zazdrości, że „oni mają, a my nie”. Tym bardziej ucieszyły mnie zeszłoroczne beta testy i premiera Assystenta na polskim rynku.

Po całym boomie na artykuły o tematyce poradnikowej ,,Jak włączyć Google Assistant na swoim telefonie?” lub ,,5 najlepszych aplikacji na start”, które niewątpliwe są bardzo pomocne – czas przybliżyć możliwości VUI (Voice User Interfaces). Według raportu przygotowanego przez m.in. Voicebot.ai ponad miliard urządzeń na świecie zapewnia dostęp do asystenta głosowego.

Bez wątpienia technologia głosowa zmienia zasady gry w mobilnym świecie. Skoro już jesteśmy przy temacie gier…sprawdźmy w jaki sposób interfejsy głosowe zostały wdrożone do tej branży.

Początki

Jakob Nielsen w 1987 roku zapytał 57 specjalistów z branży IT jakie przewidują największe zmiany w obszarze interfejsów użytkownika w ciągu 13 najbliższych lat. Badani w większości stawiali na rozwój interfejsów głosowych. Czytając opracowanie tych badań zastanawiałam się jak bardzo ich wyobrażenia pokrywają się ze stanem obecnym ? Innymi słowy czy ówcześni eksperci myśleli o możliwościach głosu w innych branżach niż IT ?

Coraz częściej czytając o rzekomo nowych technologiach zauważam, że ich historia zaczyna się dużo wcześniej niż początkowo zakładam. Podobnie jest z wykorzystaniem rozwiązań głosowych w grach komputerowych. Zatem wróćmy do lat 80, kiedy to RDI Video Systems wypuściła konsolę do gier o nazwie Halcyon. Uważano, że jest to przełomowy krok w rozwoju systemów gier wideo opartych na rozpoznawaniu głosu.

Przewidywania jednak nie przyniosły rewolucji i zostały wydane tylko dwie gry. Myślę, że powodem mogła być wysoka cena za konsole (2500 $) plus niespełniona obietnica aktywowania lasera za pomocą głosu. Mimo wszystko, praca nad Halcyon pokazała dlaczego w branży gier wideo wdrażanie technologii głosowych nie było tak szybkie jak zakładano na samym początku.

Wyzwania

O tym, że tworzenie gry wideo jest wymagającym i wielopłaszczyznowym procesem chyba nikogo nie trzeba przekonywać. Przygotowanie fabuły, rozgrywka, rozwój postaci, konfigurowalny ekwipunek, systemy loterii, światy, mechanizmy gry, dostępne języki czy nagrywanie podkładów głosowych z aktorami. Do tego dochodzi mnóstwo ruchomych części, które powinny się ze sobą bezproblemowo połączyć. Co więcej przebieg gry powinien się zmienić i dostosować w zależności od działań każdego gracza. Tymczasem co się stanie jeśli do tego zbioru dodamy jeszcze możliwość sterowania głosem?

Podczas ubiegłorocznej edycji hackhatonu Talk to me, Berlin! polski zespół postanowili stanąć przed takim wyzwaniem i stworzyć głosowego asystenta dla gry Star Craft II. W ciągu 24 h Kasia i Rafał stworzyli persone Kapitan Kate Blackwater, która wywoływana przez poniższe komendy, pomoże wykonać graczom niektóre zadania.

Alexa, tell captain to send more soldiers
Alexa, tell captain to evacuate everyone
Alexa, ask captain what’s the status

Cały proces zintegrowania VUI (Voice User Interfaces) i StarCraft II został opisany na blogu Upside, gdzie znajdziecie Live Demo i szczegóły dotyczące projektowania i developmentu.

Dlaczego warto wdrażać VUI do świata gier ?

Wyniki badań VoiceLabs podają, że ,,30% respondentów uznało gry i rozrywkę za główny powód inwestowania w Amazon Echo lub Google Home”. Myślę, że motywacje jakimi kierują się ,,głosowi-gracze” mogą wynikać z kilku doświadczeń, które można uzyskać dzięki wdrożeniu VUI:

  • zwiększenie realności wrażeń
  • hands-free experience
  • multitasking
  • innowacyjne rozszerzenie
  • łatwość obsługi

Niemniej jednak aby użytkownik mógł w pełni korzystać z tych zalet głosowi asystenci powinni być na tyle dobrze zorganizowani i poruszani, aby gracz nie poczuł się zagubiony. Obecnie na rynku technologii głosowych istnieje kilka możliwości zaadaptowania VUI do świata gier. Aby lepiej zrozumieć złożoność łączenia tych obszarów, warto zacząć od kilku definicji i rozróżnienia – jakie opcje ma gracz i twórca?

Multi…modalność versus medialność w grach nie tylko wideo

Przygotowując treści do tego artykułu sporym wyzwaniem było odnalezienie polskich odpowiedników popularnych wśród zachodnich twórców gier opartych na technologiach głosowych. Mimo wszystko udało się i znalazłam najbardziej zbliżone wyjaśnienie pojęcia ,,multimodal experience”, które tak często pojawia się w kontekście VUI i gier.

Multimodalność w języku polskim definiowana jest jako ,,uzyskanie
w komunikacie przynajmniej dwóch różnych systemów semiotycznych.”

Innymi słowy multimodalnym doświadczeniem możemy nazwać czytanie tego artykułu, mamy tutaj zarówno tekst jak i zdjęcia.

Zaraz obok tego pojęcia pojawia się Multimedialność, która łączy w jednym przekazie kilka urządzeń, środków materialnych i technik komunikacyjnych. Ta druga jest już bardziej bliska łączeniu gier i interfejsów głosowych, gdzie mulitmodalne interfejsy głosowe obejmują obrazy, ikony, dźwięki i filmy tworząc interaktywne treści.

Obecnie na rynku technologii głosowych mamy kilka kategorii gier wykorzystujących VUI jako medium.

Voice only-games

Lemonade Stand to gra dedykowana dla dzieci, ale jej koncept wydaje się być równie ciekawy dla starszych użytkowników. Gracz w chodzi w rolę młodego przedsiębiorcy, który sprzedając lemoniadę wzbogaca się, a głosowy asystent wciela się w role pomocnika, który doradza jak dysponować dziennym kapitałem (całe 5 dolarów na dzień!).

Ding Dong Coconut

To gra z kategorii pamięciowych, w której gracz ma za zadanie kojarzyć słowa z dźwiękami. W każdej rundzie powstaje nowy dźwięk i skojarzenie słów. Kto przejdzie więcej rund – ten wygrywa.

Polski Google Assistant na ten moment w kategorii gry posiada jedynie Śmieszne sztuczki, które np. znajdują memy, zagadki czy opowiadają żarty. Nic dodać, nic ująć – czekamy na więcej !

Voice games with auxiliary screen

Cechą charakterystyczną tej kategorii jest wykorzystywanie statycznego obrazu do określonych scen lub sytuacji, aby pobudzić wyobraźnie gracza. Tak zwane “dekoracyjne” ekrany zostały wdrożone wraz z technologią głosową do gier dostępnych na Amazon Alexa – Jurassic World: Revealed i ALIEN Offworld Colony Simulator

Voice games combined with computers

Istnieją również gry, które swoje głosowe rozszerzenie mają w odniesieniu do webowej lub mobilnej aplikacji dostępnej np. poprzez social media. Przykładem wpasowującym się w tą kategorię jest np. Kids Court (połączony ze stroną internetową) lub Question of the Day (zsynchronizowane z kontem na Facebooku lub Twitterze).

Voice-assisted computer games

Przykładem gry z tej kategorii jest właśnie Star Craft II i persona kapitan Kate Blackwater. Na rynku dostępne są również rozszerzenia dla The Destiny 2 Ghost, gdzie gracz może kontrolować za pomocą głosu wybrany aspekt gry.
Przykładowe komendy dostępne na stronie gry:
Alexa, ask Ghost to save my Raid loadout
Alexa, ask Ghost to 
equip my Strike loadout
Alexa, ask Ghost to 
equip my best Void weapon

Voice games with artefacts

Na sam koniec zostawiam kategorie gier, która należy do mojej ulubionej dzięki charakterystycznemu łączeniu doświadczeń głosowych z tradycyjnymi planszówkami. Obecnie najbardziej znana w tej kategorii jest ,,When in Rome”. W tej grze aplikacja głosowa jest w stanie dokładnie monitorować stan gry i odgrywać w niej bardzo aktywną rolę dzięki przygotowanej aplikacji głosowej. Już wkrótce na naszym blogu recenzja!

Dlaczego zaczynamy od gier ?

Wybór tematyki na start nie był oczywiście przypadkowy. Zanim zintegrujemy głos ze światem gamingu cofnijmy się o kilkanaście lat, kiedy to powstawały pierwsze doświadczenia i recenzje takich klasyków jak Snake czy Tetris. Oprócz dostarczania użytkownikom rozrywki i wzbogacania ich czasu wolnego pojawia się druga perspektywa.

Gry dostarczają także wartość dla innych branż stając się swego rodzaju „poligonem”. Idąc tym tropem, pojawienie się technologii głosowych jako rozszerzenia doświadczeń z grami oswaja nas użytkowników z samą technologią, pokazuje możliwości rozwoju i sprawia, że patrzymy na pojawiające się błędy z większą dozą cierpliwości. Gra,w której głosowo sterujemy postacią może wykorzystywać te same schematy poleceń, ale już w zupełnie innej branży.

Warto zwrócić uwagę na fakt, że persona Kapitan Kate Blackwater w grze Star Craft II, mogłaby być inspiracją dla stworzenia głosowego asystenta w każdej innej branży jako swego rodzaju przewodnika – pomocnika.

Co dalej?

Doświadczenie multimodalności w grach połączonych z głosem to temat bardzo wieloaspektowy, moje przemyślenia mają charakter wprowadzający, dlatego jeśli jesteś Drogi Czytelniku zainteresowany zgłębieniem tego tematu, polecam kilka eksperckich wpisów, profili które warto obserwować aby być na bieżąco: