Современная 3D стерео система смешанной реальности создана в России

m_kalashnikov — 02.09.2010 Глеб Усков, Андрей Горбунов
Современная 3D стерео система смешанной реальности создана в России
С былинных фоннеймановских времен и по сию пору развитие IT-технологий проистекало в направлении удаления от человеческого начала. Пиковой точкой этого процесса стала виртуальная реальность – здесь пользователь вообще полностью исключается из действительности, превращаясь в элемент мира компьютерных иллюзий. А поскольку в таком мире принципиально нет никаких ограничений, то психологи забили тревогу, по их мнению расчеловечивание, дегуманизация человеческой сущности в таком сценарии лишь вопрос времени, причем небольшого.

Но, видимо, кто-то свыше все же присматривает за порядком среди не ведающих что творят индивидуумов. Психологи могут вздохнуть спокойно. Похоже, грядет эра ДОПОЛНЕННОЙ РЕАЛЬНОСТИ. Этой не лучшей, как, к сожалению, водится, калькой с английского (Augmented Reality - AR, другие используемые термины Mixed Reality, смешанная реальность, комбинированная реальность) обозначается технология, позволяющая совмещать реальный мир и виртуальные, созданные компьютером объекты. IT-человек возвращается в обычный мир, пусть и приправленный хайтеком.

Надо заметить, что AR отнюдь не новость, стоит вспомнить нашлемные системы целеуказания современных боевых самолетов, среди которых отечественные СУ-30 и МИГ-35. Но только в 2009-2010 годах, в основном благодаря iPhone 3Gs и iPhone 4, эта технология начала стремительно приобретать характер ведущего IT-тренда, чтобы убедиться в этом, достаточно сделать запрос "augmented reality" в Appstore.

И хотя смартфоновские маркерные AR-поделки – чрезвычайно возбуждающие публику, но все-таки незамысловатые игрушки, тем неменее, они обеспечили почву для активного развития индустриальных AR-приложений, в которых эксплуатируется принцип "полного погружения", в сочетании с наблюдаемым ныне прогрессом 3D и стерео техники они обещают поистине удивительные результаты. Первым в России проектом такого рода является система смешенной реальности для задач авиации на базе AR, разрабатываемая в Московском Государственном Техническом Университете Гражданской Авиации (МГТУ ГА) http://www.mstuca.ru/r1/ при поддержке компании 3D ЛИГА (http://www.3dliga.ru/).
Система может найти применение во многих других областях.

Что же такое смешанная реальность (mixed reality)?

Дополненная реальность (англ. Аugmented reality, AR), — термин, относящийся ко всем проектам, направленным на дополнение реальности любыми виртуальными элементами (объектами). Например, когда вы видите окружающую вас комнату, в которой стоит 3D модель автомобиля. Один из самых известных примеров дополненной реальности — цветная линия, показывающая траекторию движения шайбы при телетрансляции хоккейных матчей. Дополненная виртуальность (Augmented virtuality) – это некоторая виртуальная среда, в которую входят реальные объекты из реального мира (например, вы находитесь в виртуальной комнате, в которой стоит реальный автомобиль). Дополненная реальность и дополненная виртуальность — составляющая часть смешанной реальности (англ. mixed reality). Смешанная реальность – это новая среда с новыми свойствами, которая совмещает реальные и виртуальные сцены и объекты. Например, вы можете идти по городу в шлеме виртуальной реальности, смотреть по сторонам и видеть информацию по достопримечательностям, раскрывающиеся окна с картинками или видео, привязанными к объектам архитектуры, облик местности из прошлого и многое другое (см. wikipedia).

Для решения ряда сложных пространственно-информационных задач нам потребовалось создать комплекс смешанной реальности с различными компонентами. Это – стационарное решение для использования в ситуационных центрах и диспетчерских, но такие комплексы смешанной реальности могут быть и мобильными (напр., для использования в туризме для виртуальных путешествий или для отработки коллективных операций).

Созданный 3D комплекс состоит из целого ряда систем и технологий для смешанной реальности.
Как это работает:
1. Мы реализовали основной принцип смешанной реальности, а именно, объединили реальный и виртуальный мир, да еще и в 3D! Для этого мы взяли специальную компактную 3D стерео камеру, которая будет как бы «виртуальными глазами» для новой смешанной реальности и взяли 3D стерео шлем, который объединил реальный и виртуальный мир.
Теперь мы можем смотреть через 3D шлем на окружающий мир (при этом мы видим его только через 3D камеры). И это все реализовано в 3D объеме! Так, если вы просто оденете 3D шлем и камеру, то будете видеть окружающую обстановку в 3D, как вы ее видите в обычной жизни.

2. Следующим шагом мы взяли специальный софт, который позволяет интегрировать виртуальные объекты, модели и процессы в реальный мир. То есть в окружающую вас обстановку можно поместить теперь 3D виртуальные объекты! Для этого объединяются различные 3D видео потоки.

3. Так же мы использовали трекинг с помощью маркеров с использованием технологии компьютерного зрения. Маркер – это простое изображение на листе бумаги. Эта технология позволяет распознавать специальным образом созданные маркеры и рассчитывать их положение и ориентацию в системе координат камеры. К каждому маркеру можно привязать 3D объект (модель). Когда этот маркер попадает в область видимости камер, в 3D шлеме (на 3D мониторе) на месте маркера отображается 3D объект с правильной ориентацией. Мы получили один из элементов смешанной реальности!

Данная технология успешно применяется в образовании, для создания контента и видео, для технологических процессов, в научно-исследовательских проектах.

4. Мы дополнили смешанную реальность трекерами движения с 6 степенями свободы (http://www.3dliga.ru/3d-for-business-tracking-systems.html). Трекер с 6 степенями свободы позволяет определить точные линейные и угловые координаты датчика (то есть не только его расположение, но и его вращение) с частотой 120 Гц. Таким образом, вы можете двигать датчиком и на экране в режиме реального времени видеть точное расположение датчика пространстве.
Для удобства управления мы использовали систему с двумя трекерами (двумя метками трекера), чтобы задействовать обе руки оператора, который двигает метки перед собой и видит результат движения в 3D шлеме.
К каждому трекеру можно привязать свой виртуальный объект (напр., 3D модель) и видеть в режиме реального времени в 3D объеме движение этого объекта. Будучи размещен на 3D шлеме трекер обеспечивает ориентацию пользователя нашей системы в виртуальном мире – одновременно в реальном мире он ориентируется видя его через видеокамеры.
5. Отдельно сформировано рабочее место для наблюдателя (оператора). Это отдельный монитор, на котором выводится результат смешанной реальности. Оператор может контролировать и дублировать процесс.
Где применяются подобные комплексы:
- Управление сложными объемными процессами (авиация, космонавтика, робототехника, физика, геология, безопасность и др.)
- Обучения работы со сложными системами (управление техникой, сложные физические процессы и др.)
- Создание фильмов и приложений
- Медицина и психология
- Наука и образование
- Отдых, развлечения, инсталляции и мероприятия
- Искусство, туризм и другие области.

Будущее технологий смешанной реальности:

- тренажеры и симуляторы (как индивидуальные, так и коллективные)
- туристические и навигационные системы с интересной графикой и информацией об объектах
- 3D система Windows, когда много экранов расположены вокруг пользователя, они висят в пространстве и на них отражается 3D информация и иконки. При этом человек может находиться в шлеме виртуальной реальности и, поворачивая головой, видеть эти экраны.
- Работа с виртуальными устройствами всех видов.
- Виртуальные 3D конференции в виртуальном или реальном пространстве.
- 3D компьютерные игры и многое другое.

В настоящий момент разработка систем смешанной реальности, а тем более в 3D, – дорогостоящий процесс. Широкое применение систем начнется с удешевлением компонент, которое ожидается в ближайшие годы. При этом стоимость самих устройств будет меньше, чем стоимость программного обеспечения для смешанной реальности.


Смотрите наш видео ролик о системе смешанной реальности из цикла «Объемные истории» в 3D ЛИГА 1 сентября 2010 года. В нем вы увидите, как работает смешанная реальность. Видео ролики из цикла «Объемные истории» вы можете найти здесь.http://3dliga.ru/3d-video-instructions.html

Авторы:
Усков Глеб, директор, 3D ЛИГА,
Горбунов Андрей, к.т.н., доц., МГТУ ГА (Институт инженеров гражданской авиации в СССР)

Оставить комментарий

Популярные посты:

• Ранее
• Архив