Wirtualna i rozszerzona rzeczywistość - czyli oszukiwanie zmysłów - Jacek Zadrożny

Brak wzroku lub jego poważne uszkodzenie sprawia, że jesteśmy odcięci od pewnych technologii. Przykładami mogą być wirtualna i rozszerzona rzeczywistość, które coraz bardziej rozpychają się w nowoczesnych technologiach. Okazuje się jednak, że to wykluczenie jest tylko częściowe, bo przecież rzeczywistość jest odbierana nie tylko wzrokiem, ale także słuchem. W głównym nurcie tych technologii faktycznie nacisk kładziony jest przede wszystkim na odbieranie informacji wzrokiem, ale słuch też jest wykorzystywany, a co więcej – jego wykorzystanie jest łatwiejsze. Przetwarzanie dźwięku lub jego generowanie wymaga o wiele mniej mocy obliczeniowej, niż przetwarzanie i generowanie obrazu. Nie oznacza to jednak, że jest łatwe.

Czym są wirtualna i rozszerzona rzeczywistość?

Na początek warto jednak doprecyzować, czym są wirtualna i rozszerzona rzeczywistość. Rzeczywistość wirtualna (ang. virtual reality VR) to rzeczywistość wykreowana za pomocą sprzętu i oprogramowania, w której zanurzyć się może odbiorca. Zjawisko zanurzenia się w takiej wirtualnej rzeczywistości ma swoją nazwę – imersja, a poziom imersji zależy od tego, jak bardzo rzeczywistość wirtualna jest oddzielona od rzeczywistości realnej. VR to wszelkiego rodzaju symulatory, w tym profesjonalne symulatory samolotów lub pociągów. To także trójwymiarowe gry wideo, systemy do wizualizacji projektów architektonicznych, szkolenia chirurgów na odległość i wiele innych.

Rzeczywistość rozszerzona (ang. augmented reality AR) to połączenie rzeczywistości realnej z wirtualną, to znaczy z elementami generowanymi przez oprogramowanie. Odbiorca AR nie przenosi się zatem do świata wygenerowanego przez komputer, a jedynie odbiera dodatkowe informacje nałożone na obraz lub dźwięk rzeczywisty. Wymaga to od oprogramowania przetwarzania obrazu i dźwięku w czasie rzeczywistym, by dodać do tego obrazu elementy wygenerowane sztucznie. W ten sposób Pokemony pojawiają się na chodnikach, maskach samochodów lub balustradach. Tutaj nie ma zjawiska imersji, bo odbiorca nie wychodzi z realnego świata, lecz ogląda go właśnie w postaci rozszerzonej. Czasem poszerzanie rzeczywistości nie wymaga przetwarzania obrazu i dźwięku, a korzystania z innego rodzaju danych, na przykład pozycjonowania satelitarnego, sygnałów z beaconów, akcelerometrów i kompasu, ale o tym nieco dalej.

Odbieranie rzeczywistości pięcioma zmysłami

Ludzie odbierają otaczający ich świat pięcioma zmysłami: wzrokiem, słuchem, dotykiem, węchem i smakiem. Dwa pierwsze zmysły są dominujące, a pozostałe są wykorzystywane marginalnie. Dokładnie tak samo jest w przypadku VR i AR. Technologie mają za zadanie oszukanie ludzkiego mózgu i podanie informacji wizualnej i akustycznej w taki sposób, by uwierzył w to, że znajduje się gdzieś indziej. Okulary i hełmy VR posiadają zazwyczaj ekrany o wysokiej rozdzielczości wyświetlające wygenerowany obraz, uwzględniający także patrzenie trójwymiarowe. Jest to przestrzenność podobna do osiąganej w kinach za pomocą okularów 3D, chociaż tam obraz jest przygotowany wcześniej, a nie w czasie rzeczywistym. Analogicznie generowany jest świat dźwięku, symulujący przestrzeń akustyczną. W odróżnieniu od wzroku, słuch można oszukać na odległość za pomocą systemów dźwięku przestrzennego 5.1 lub w słuchawkach za pomocą dźwięku binauralnego.

Chociaż wzrok i słuch są wiodącymi, to wykorzystuje się także inne zmysły, mimo że jest to trudniejsze i kosztowniejsze. Wśród symulatorów zapachu można wymienić choćby pochodzącą z 2001 roku maskę iSmell, FeelReal – przygotowaną do współpracy z Oculus Rift i Samsung GearVR z 2015 roku, czy zupełnie nowy produkt OhRoma. Z kolei zmysł dotyku oszukiwany jest na różne sposoby – od wibrujących w ręku kierownic i padów do konsol, poprzez rękawice z mechanicznymi uciskaczami symulującymi dotykanie przedmiotów, aż po kombinezony okrywające całe ciało. Listę można zamknąć specjalnymi bieżniami, jak Virtuix Omni czy Cyberith Virtualizer, dzięki którym użytkownik VR nie rozbije się o całkiem rzeczywistą ścianę. Ja jednak chcę się skupić na wirtualnej i rozszerzonej rzeczywistości dostarczanej przez uszy.

Osoby niewidome nie skorzystają z generowanego obrazu, ale mogą skorzystać z generowanego dźwięku. W tym wypadku wirtualna rzeczywistość będzie polegała na wygenerowaniu pełnego świata w wersji akustycznej. Z kolei rzeczywistość rozszerzona to możliwość korzystania z dźwięków otoczenia, uzupełnionych o dźwięki wygenerowane sztucznie, a niosące dodatkowe informacje. Do czego może się to nam przydać. W zasadzie przydaje się w dwóch obszarach: rozrywce i ułatwianiu codziennego życia, a przede wszystkim poruszania się.

Rozrywka, czyli dźwiękowe gry VR

Tak samo, jak w przypadku osób widzących, wirtualną rzeczywistość najszybciej znajdziemy w grach. W wypadku niewidomych graczy będą to gry dźwiękowe, chociaż oczywiście nie wszystkie. Chodzi o takie gry dźwiękowe, gdzie wytwarzane jest pełne środowisko dźwiękowe, a nie te, gdzie operujemy po prostu dźwiękowym interfejsem użytkownika. Gra powinna pozwalać na odcięcie się od realnej rzeczywistości i oferować dźwięk przestrzenny, najlepiej binauralny. Takimi grami były gry z serii Papa Sangre i inne od tego samego producenta, na przykład Audio Defense.

Aby efektywnie grać w gry z tego gatunku, należało założyć słuchawki i to koniecznie stereofoniczne. Jeżeli użytkownik używał słuchawek dobrze odcinających od otoczenia, to mógł się w pełni przenieść w wirtualny świat wykreowany przez twórców. Sprytnie wykorzystany żyroskop i akcelerometr pozwalały na bardziej naturalne używanie, a zatem pojawiała się wspomniana wcześniej immersja. Zamiast wykonywać gesty na ekranie, można było obracać się ze smartfonem w ręku, a panorama dźwiękowa odpowiednio się zmieniała. W zręcznościowej grze Papa Sangre II można było chodzić po pomieszczeniach z dziurami w podłodze wypełnionymi lawą, po trzeszczącym lodzie lub przebiegać przez płonący dom. Dla immersji kluczowe były jakość dźwięku i pomysłowe efekty akustyczne. Stereofoniczne słuchanie pozwalało na zlokalizowanie miauczącego kotka lub niebezpiecznego pingwina. Problem przemieszczania się rozwiązano przez specjalne gesty naśladujące poruszanie nogami. Podobnie skonstruowano grę Audio Defense, chociaż to była raczej gra typu slasher. Gracz stał w miejscu i tylko obracał się wokół własnej osi, nasłuchując skąd nadchodzą zombie. A potem strzelał do nich. Kolejnym przykładem jest bardzo rozbudowana gra przygodowa pod tytułem Blind Legend, mająca zarówno fabułę, jak i elementy zręcznościowe i decyzyjne. W niej również kluczowe było nasłuchiwanie skąd dochodzą odgłosy i odpowiednie reagowanie.

Wspomaganie poruszania się, czyli wirtualny przewodnik

Rozszerzona rzeczywistość wykorzystywana jest w aplikacjach do wspomagania poruszania się. Przykładem może być popularna w Polsce aplikacja Seeing Assistant Move, która informuje podczas poruszania się o odległości i kierunku celu (tryb śledzenia) oraz o otoczeniu (tryb monitorowania). W pewnym sensie zajmuje się tym, czym zajmowałby się człowiek przewodnik, gdyby miał tak dużo cierpliwości i precyzji, jak aplikacja. Czasem dla samej przyjemności włączam sobie tryb monitorowania, by sztuczny głos w słuchawce informował mnie o mijanych sklepach, restauracjach, urzędach i przystankach komunikacji miejskiej. Na rzeczywistość realną, słyszaną przez wszystkich otaczających mnie ludzi, nakładana jest dodatkowa, przeznaczona tylko dla mnie. Jest to zatem substytut rozglądania się. Dane pobierane są z różnych baz danych, przede wszystkim Open Street Maps i można jej zakres dopasować do własnych potrzeb.

Firma Microsoft zaproponowała coś podobnego, a jednocześnie o wiele bardziej zaawansowanego. Już w 2014 roku zademonstrowano specjalne słuchawki oparte o przewodzenie kostne, wyposażone dodatkowo w kompas. Przewodzenie kostne zostało wykorzystane, by nie przesłaniać niewidomym użytkownikom uszu i nie odcinać ich od informacji słuchowej. Z kolei kompas potrzebny był do tego, by określać, w którą stronę skierowana jest twarz osoby niewidomej. A wszystko po to, by móc efektywnie wykorzystać dźwięk trójwymiarowy. W tym rozwiązaniu postawiono bowiem nie tylko na informowanie głosowe o kierunku punktów, ale wręcz o ich wyraźne wskazanie za pomocą specjalnych dźwięków. Niewidomy użytkownik zatem po prostu idzie w kierunku dźwięku słyszanego przed sobą, chociaż oczywiście wygenerowanego sztucznie w słuchawkach. Wydaje się to być o wiele bardziej intuicyjne, niż przeliczanie w głowie stopni lub informacji podawanych za pomocą wskazań zegarowych. Co więcej – idąc w tych słuchawkach otrzymujemy informacje o otoczeniu w analogiczny sposób, na przykład mijając pizzernię po prawej ręce, otrzymamy o tym informację w prawym uchu. To trochę tak, jakbyśmy co chwila spotykali ludzi stojących w drzwiach, zapraszających do wejścia.

Ciekawym przykładem rozszerzonej rzeczywistości jest aplikacja Google Translator, czyli elektroniczny tłumacz. Jest w nim wbudowana funkcja, dzięki której użytkownik kierując aparat na tekst w obcym języku, otrzymuje na ekranie ten sam tekst już przetłumaczony i to wyświetlony – w miarę możności – taką samą czcionką. Ta funkcja jest dla osób niewidomych mało przydatna, ale jednocześnie pokazuje kierunek, w jakim może iść cyfrowe przetwarzanie obrazu. Pojawiły się więc także rozwiązania specjalnie dla osób niewidomych, jak Aipoly Vision i Seeing AI. Pierwsza służy do rozpoznawania przedmiotów, a druga – do rozpoznawania ludzi, w tym ich wieku, płci i emocji. Stąd już prosta droga do wykorzystania podobnych rozwiązań w smartokularach i faktycznie – ostatnio nastąpił wysyp tego rodzaju rozwiązań, jak na przykład OrCam Smartglasses. Te okulary wyposażone są w kamerę i słuchawki oraz w oprogramowanie pozwalające na czytanie tekstu, rozpoznawanie twarzy i produktów. W planach kolejne funkcje, jak rozpoznawanie kolorów. I to wcale nie jest magia, tylko zaawansowane algorytmy przetwarzające obraz, by przekazać istotne informacje osobie niewidomej.

W serialu Star Trek Następne pokolenie głównym inżynierem jest Geordi La Forge – niewidomy używający czegoś w rodzaju takich sprytnych okularów. Może zatem przyszłość nie jest tak odległa, jak myśleli twórcy tego serialu sprzed 30 lat. W dziedzinie wirtualnej i rozszerzonej rzeczywistości wciąż jest sporo do zrobienia, jeżeli chodzi o osoby niewidome. Wygląda to jednak bardzo obiecująco i teraz trzeba tylko poczekać na tańsze i bardziej pewne rozwiązania.

Jacek Zadrożny

Błąd: Nie znaleziono pliku licznika!Szukano w Link do folderu liczników

Dodano: 23-11-2017 16:07:57