Точка Роста. VRAR_вводная
учебно-методическое пособие

Непонятные буква VR и AR у всех сейчас на слуху. Говорят и о пользе цифровых лабораторий, и о виртуальных тренажерах, которые могут пригодиться как инженеру на заводе, так и космонавту. Даже продавцов так тренируют. Говорят и пишут о технологиях многие, но мало кто на самом деле разбирается, что же значат эти непонятные буквы. В небольшой вводной лекции мы разберемся с основными понятиями и разберем интересные примеры приложений. Я показываю вам презентацию, которая отлично заходит у ребят, главное не забывать задавать им вопросы и спрашивать их мнения.

Все материалы – образовательные программы, расписанные кейсы, презентации, текст к этим презентациям – даже к этой, подборки приложений и др., что вам может понадобиться – либо уже написано и будет передано вам, либо доформируется в самое ближайшее время. Не стоит переживать – одних вас не оставят :)

Когда мы говорим «виртуальная реальность» - первая ассоциация у тех, кто постарше, фильм «Матрица». Те, кто помладше, могут вспомнить фильм 2018 года «Первому игроку приготовиться», кто не смотрел – посмотрите, кто не читал – обязательно почитайте, книга более глубокая, чем фильм, и хорошо описывает на разговорном языке возможное будущее.

А как вы считаете, компьютерные игры – это виртуальная реальность? Те самые игры, в которые любят играть дети на компьютере? Многие говорят, что нет – ведь не надевается шлем. На самом деле любая игра на компьютере, приложение на телефоне – это виртуальная реальность. Это вымышленный мир. По сути, даже картину на стене можно считать виртуальной реальностью – ведь это задумка художника.

Но мы с вами давайте договоримся, что под virtual reality мы будем понимать цифровой мир, искусственный мир, созданный средствами компьютерного моделирования, симуляция реального мира.

Попадая в виртуальную реальность, человек воспринимает ее через органы чувств: зрение, слух, обоняние – в зависимости от оборудования. Таким образом создается эффект присутствия (погружения).

Важнейший принцип VR – обеспечение реакции системы на действия пользователя. Для этого используются  специальные устройства взаимодействия. Например, контроллеры для рук (показать контроллеры HTC Vive) или датчики для трекинга (то есть, отслеживания) реальных объектов.

Как вам кажется, когда зародились технологии? (ждем вариантов).

Обычно дети говорят, что в нулевых, 2014, 2012 – варианты плюс-минус похожи. На самом деле первый патент на устройство VR был получен в 1961 году и выглядело это все довольно громоздко. На слайде вы видите первый шлем – хотя больше похоже на комнату – виртуальной реальности. Человек едет по цветочному полю, получая порцию духов в нос для имитации запаха. Смотря на схемы тех времен, понимаешь, что по сути технологии шагнули не так далеко (показываем шлем HTC VIve) – это все те же линзы и коробка. Хотя на самом деле все придумано еще раньше: вариаций подобных устройств было огромное множество. Даже студия «Союзмульфильм» выпустила мультфильм, в котором два веселых гуся, Антошка и его дед могли надеть шлем и спрятаться в чудесный мир от Бабы-яги.

Так что все придумано очень давно, просто об этом мало кто слышал. Пока в 2014 не произошел настоящий взрыв – Палмер Лаки презентовал свое устройство Oculus Rift, которое начинали собирать несколько друзей, как водится, в гараже. На слайде вы видите летящего над виртуальным городом человека – вентилятор имитировал ветер, а разбрызгивание соленой воды – брызги моря. Пять лет назад это был WOW, хотя по сути мало чем отличалось от езды на мотоцикле в 60-е. Компания Facebook купила Oculus за баснословные деньги, а другие компании начали пробовать создавать свое. Так появился HTC Vive и шлем от Sony и с каждым годом появляются все новые и новые. Наибольшую популярность получили HTC и Oculus, в ваших классах будет использоваться именно первый вариант.

Показываем устройство и комментируем: «есть шлем, есть контроллеры, есть базовые станции и пр.». Показываем, как настроить шлем «из коробки». См. приложение 1.

Показываем Steam и как можно скачать приложения. Вызываем добровольцев и показываем примеры, тестируем (ок. 15 мин.), комментируем происходящее: почему нельзя загораживать базовые станции – теряется сигнал, почему появляется голубая сетка – потому что пользователь пытается выйти за ограниченное для погружения пространство и др.

Устройства такого уровня используются для достаточно серьезного погружения – мы можем перемещаться в пространстве, использовать руки. Есть дополнительные датчики Vive Tracker, которые можно разместить на любом предмете, чтобы перенести его в VR: представьте, что вы сможете играть на своей любимой гитаре, но в VR с дополнительными подсказками и меняющимся окружением.

Все было бы здорово, однако некоторые вещи все еще мешают полноценному погружению. Давайте порассуждаем, что можно было бы улучшить (возможные варианты от слушателей – жарко в шлеме, тяжелый, мешают провода, далеко не уйдешь, неудобно людям с плохим зрением). С проводами уже начали «бороться» - появляются все больше и больше автономных, независимых шлемов разного уровня. Есть по сути пластиковые или картонные «коробки», в которые вставляется телефон. До использования картона первыми догадались в компании Google – именно они опубликовали выкройки для вырезания необходимых деталей, руководство по сборке и назвали результат Google Cardboard (от cardboard – англ. Картон). Именно поэтому многие до сих пор называют «кардбордами» подобные самосборные очки.

На слайде представлены результаты работы московских шестиклассников в рамках проекта “Квантоурок” - урока технологии, реализуемого на внешних площадках и в формате шестичасового интенсива (для справки - проект реализуется уже три года). Как видите детская фантазия работает в разных направлениях. Сборкой подобных устройств вы будете заниматься и на своих занятиях. Сейчас я покажу несколько хороших объяснений, как собрать очки VR – таких мастер-классов в сети множество, выбирайте на свой вкус. Не ограничивайте детскую фантазию – пусть креативят из любых подручных средств.

Комментируем мастер-класс по ссылке на выбор: http://fb.ru/article/292724/kak-sobrat-cardboard-svoimi-rukami-cherteji-razmeryi

http://pro-cardboard.com.ua/articles/kak-samostoyatelno-sobrat-google-cardboard/

https://vr-j.ru/stati-i-obzory/kak-sobrat-i-podklyuchit-google-cardboard/

https://habr.com/ru/company/mailru/blog/232489/

Есть и видеоуроки https://hype.ru/@id103/istoriya-razvitiya-virtualnoy-realnosti-v-cifrah-i-kartinkah-lxnzbeq0 

Конечно, устройства такого уровня не могут обеспечить значительное погружение пользователя, однако для просмотра многочисленных панорамных видео они вполне сгодятся. Панорамные фото и видео – отличное решение для уроков географии, истории и др. – для перемещения по интересным природным объектам, музеям и другим достопримечательностям. Большое количество панорамных туров или туров 360 есть на youtube, достаточно ввести запрос «панорамные видео», «360 градусов» + аналогичные, как выдастся большое количество результатов (показать, как это делать, показать ролик – изменять ракурсы мышкой). Можно скачать на смартфон приложения с турами 360 – ищите с ребятами, качайте и пробуйте, есть очень много бесплатного контента.

Разрабатываются и более совершенные устройства – например, Oculus Go или Vive Focus – на слайде. Такие шлемы не требуют вставки смартфонов, устройство полностью автономно – нет проводов.

Долгое время существуют и активно используются и так называемые «кейвы». Кто знает, что такое Cave в английском? Правильно, пещера. А еще это акроним «созданной цифровыми средствами виртуальной среды». Представьте себе комнату, в которой пол, потолок и стены будут экранами. С картинкой, показывающейся на них, можно будет взаимодействовать, можно будет свободно перемещаться. Это и есть кейвы – достаточно дорогие, профессиональные системы погружения.

Как вам кажется, где они могут использоваться? (принимаем варианты)… Очень частые заказы приходят от пожарных,военных – всех тех, кому необходимо постоянно тренироваться в условиях, максимально приближенных к реальности. При этом каждый раз поджигать дом для формирования навыков – не лучший план. В таких случаях выручает виртуальная реальность.

Уже разработан и активно внедряется костюм Tesla Suit – он может температуру и даже боль. То есть пользователь не будет просто бездумно ошибаться – за каждую ошибку его мозг будет обманут и человек почувствует боль. Костюм оснащен системой захвата движений, климат-контролем, биометрическими датчиками. Проще говоря: все, что происходит в компьютерной игре, можно почувствовать на себе благодаря электрическим импульсам.  Мозг не чувствует себя обманутым, потому что для него нет расхождений в картинке и тактильных ощущениях.

Teslasuit – это не просто VR-костюм: это умная одежда. Она учитывает вопросы биометрии и биостимуляции, считывает активность мышц. Сейчас разработчики создают нейросеть, которая будет распознавать базовые заболевания. Ее вошьют в специальную майку, которую нужно будет просто носить. Это позволит не ходить по поликлиникам – можно отправить врачу файл с историей своего состояния, на основе которого он поставит диагноз. Костюм поможет остановить распространение инфекций и эпидемий, оказать помощь при нарушениях вестибулярного аппарата и мелкой моторики, реабилитировать людей после инфарктов и инсультов.

Существуют голографические столы, на которых словно возвышаются голограммы виртуальных объектов, бывают обычные виртуальные мониторы. В общем и целом, разнообразие систем VR велико и считать, что VR – это только шлемы совсем неправильно. Это всего лишь одна из разновидностей дисплейных систем, а по факту любое приложение можно запустить как на телефоне, так и на ПК, так и с использованием VR шлема. В ваших кабинетах из устройств будет только HTC Vive, но в целом этого абсолютно достаточно для начинающих – учимся разработке, 3D моделированию и программированию на компьютерах, и тестируем в шлеме.

Поговорим о второй технологии – дополненной реальности, англ. Augmented Reality (сокр. AR). Что же это за реальность такая? Как вам кажется, как связан кадр из фильма с вопросом? (ждем вариантов).

Терминатор – именно из этого кадра фильм – видел мир так, как показано на следующем слайде. То есть, он видел в своих очках дополнительные цифровые элементы поверх реальных объектов.

Дополненная реальность – технология компьютерной визуализации, которая дополняет изображение реального мира виртуальными элементами и дает возможность взаимодействовать с ними. Объекты могут быть любые – текст, 3D модели, видео, да все, что угодно. Представьте, какими наглядными могут стать уроки по физике или химии, когда любая сложная для восприятия схема сможет «ожить». Ни для кого не секрет, что 90% информация поступают к нам в мозг через зрения. И не удивительно, что пока ребенок сам не увидит, ему сложно уяснить природу тех или иных явлений. Прекрасно, когда можно не только увидеть статичную картинку, но и посмотреть на это в движении.

Визуализация исторических событий, опасные эксперименты, оживающие карты – все это, смогут сделать дети на занятиях второго кейса. Ребята сами найдут проблему – например, поймут, что школьная история им кажется «скучной» или некоторые темы по естественным наукам им непонятны. Расспросят потенциальных пользователей и проведут исследование – а действительно ли приложение с дополненной реальностью решит вопрос.  И приступят к разработке – проработают сценарий, разделят роли – модделеры подберут и скачают готовые 3D модели на нужную тематику или сделают сами, а разработчики соберут приложение в бесплатной среде Unity3d. Не переживайте, что вы чего-то пока не знаете – есть огромное количество видеуроков, по которым и ребята, и вы сможете прокачивать свои навыки. Мы подобрали ссылки с полезной информацией, сделали пошаговые методички, которые можно распечатать, положить рядом с компьютером и сделать собственный проект. Приложение 2.

В подборке приложения 3 мы собрали интересные примеры использования дополненной реальности в разных сферах, обсуждайте с детьми и показывайте.

Давайте посмотрим несколько примеров и сейчас, чтобы вы понимали, какого уровня могут быть проекты (демонстрация и тестирование).

Все эти приложения используют технологию оптического трекинга: камера устройства распознает специальную картинку и с помощью программы накладывает на эту картинку виртуальный объект, который отображается на экране. Думаю, почти все слышали о QR кодах, при наведении на которые появлялась ссылка-переход на сайт. По сути это тоже дополненная реальность примитивного уровня. Гораздо интереснее «оживлять» обложки и иллюстрации книг, картины в музеях, карту на стене. То есть вполне себе обычные изображения.

Такие изображения не должны быть симметричны, обладать достаточным количеством элементов. То есть, флаг Японии это плохая метка – меткой мы называем картинку, которая должна будет ожить. Как вам кажется, почему кружок или крест – это плохая метка? … Потому что камера не будет понимать, где верх, где низ и виртуальная модель будет прокручиваться и не зафиксируется. Правила трекинга хорошо описаны по ссылке  https://eligovision.ru/ru/toolbox/docs/3.2/articles/tracking.html 

Распознавать можно и трехмерные объекты, например, кубики. Представьте, что правильно собранная картинка на кубиках оживет и расскажет малышу дополнительную интерактивную историю.

Также существует технологии геолокации – когда не надо наводить телефон на картинку: система понимает, что вы подошли к определенной точке и выводит на экран телефона дополнительные элементы. Самой известной игрой с такой механикой стала ...? Правильно, «pokemon go». Это игра действительно «взорвала» рынок, о технологии говорили все, к сожалению, забывая о ее действительном потенциале. С детьми надо говорить, что как и виртуальная, так и дополненная реальность – это не только игрушки. И разрабатывая собственные полезные приложения, они в этом убедятся.

Приложения дополненной реальности можно запускать на компьютерах, используя web-камеру, на мобильных телефонах, а также есть специальные носимые устройства.

С недавних пор используется еще один термин – смешанная реальность. Объясним по картинке. Полностью цифровая уточка – это виртуальная реальность. Изображение утки как слой поверх реальной картинки – дополненная реальность. Смешанная реальность – это виртуальная утка, органично вписанная в реальное окружение. То есть, говоря понятными детям аналогиями – если Терминатор – это дополненная реальность, то смешанная – это Железный человек.

Сферы применения: