Трекинг глаз в VR/AR-гарнитуры

Виртуальная реальность и дополненная реальность создали возможность окунуться в миры, которых не существует. Сценарии тестирования не обязательно должны быть связаны факторами, которые обычно препятствуют некоторым экспериментам. С другой стороны, в VR / AR можно моделировать что угодно.

Порядок работы системы отслеживания глаз в VR / AR

Отслеживание глаз — способность быстро и точно определять направление, в котором пользователь смотрит, находясь внутри гарнитуры виртуальной реальности, — часто обсуждается в контексте рендеринга с углублением и того, как это может снизить требования к производительности виртуальной реальности. И хотя визуализация с помощью foveated является захватывающим вариантом использования функции отслеживания глаз в гарнитурах виртуальной реальности, функция отслеживания глаз позволяет сделать гораздо больше.

О слежении за глазами говорили в отношении виртуальной реальности как о далекой технологии в течение многих лет, но аппаратное обеспечение, наконец, становится все более доступным для разработчиков и клиентов. PSVR 2 и Quest Pro являются последними примерами гарнитур со встроенным функцией отслеживания глаз, наряду с такими гарнитурами, как Varjo Aero, Vive Pro Eye и другими.

При таком развитии событий всего за несколько лет мы могли бы увидеть, как отслеживание глаз становится стандартной частью потребительских гарнитур виртуальной реальности. Когда это произойдет, технология сможет включить широкий спектр функций, которые значительно улучшат работу с виртуальной реальностью.

Отслеживание глаз используется для измерения точки взгляда или движения глаза относительно головы. Отслеживание глаз обычно выполняется путем многократного измерения расстояния между отражением от роговицы и центром зрачка – расстояние менялось в зависимости от угла наклона глаза. Алгоритмы компьютерного зрения могут угадать по углу наклона глаз, куда направлен взгляд.

Принцип тот же в VR / AR, с одним отличием, которое заключается в том, что глаза не указывают туда, куда смотрит человек. В VR / AR дисплей расположен так близко к глазам, что глаза не видят четкости, но все равно ощущается глубина благодаря представленной 3D-информации. Поэтому отслеживание глаз в VR / AR должно иметь дело с неполной информацией о взгляде.

Использование системы отслеживания глаз для разработки VR / AR

Работая с отслеживанием глаз в VR / AR, вы можете использовать преимущества обеих технологий. VR / AR позволяет создавать любую имитируемую среду, в которой визуальные стимулы и сценарии можно быстро переключать или легко повторять.

В то же время отслеживание глаз дает вам представление о визуальном внимании участника в каждый момент опыта. Кроме того, отслеживание глаз также может обогатить возможности VR / AR. Активируя более естественные взаимодействия с помощью взгляда, отслеживание глаз способствует более захватывающему и удобному для пользователя опыту в VR / AR.

Учитывая приведенные выше факты, соотнесение взгляда с действием для более точного отображения отслеживания глаз может улучшить координацию рук и глаз в том, как люди взаимодействуют с реальным миром. Кроме того, использование отслеживания глаз может снизить необходимую вычислительную мощность, уменьшить задержку и максимально синхронизировать рендеринг изображения.

Как работает отслеживание глаз в виртуальной реальности?

Отслеживание глаз обычно работает путем непрерывного измерения расстояния между центром зрачка и отражением роговицы – расстояние меняется в зависимости от угла наклона глаза. Инфракрасный свет, невидимый человеческому глазу, создает это отражение, в то время как камеры записывают и отслеживают движения. Алгоритмы компьютерного зрения способны определять по углу наклона глаз, куда направлен взгляд.

Принцип тот же, что и в виртуальной реальности, с одним существенным отличием – глаза не обязательно указывают туда, куда смотрит человек. В реальном мире глаза демонстрируют то, что называется “вержением”, когда угол наклона глаз направлен к центральной точке, в которой встречаются взгляды

В повседневной обстановке, если бы можно было провести линию от центра каждого глаза, оба глаза пересекались бы с одним и тем же объектом, на который смотрел человек. В виртуальной реальности дисплей расположен так близко к глазам, что глаза не обязательно отображают глубину, но, конечно, все равно ощущается глубина благодаря представленной 3D-информации. Поэтому отслеживание глаз в виртуальной реальности должно иметь дело с неполной информацией о взгляде [1].

К счастью, хотя положение глаз не раскрывает всей истории, у нас есть недостающие данные. Комбинируя информацию о глубине виртуальных объектов в виртуальной среде, можно построить модель того, на что смотрели – виртуальную линию можно проследить от направления взгляда в виртуальный мир.

Не во всех средах виртуальной реальности обязательно есть эта информация, что исключает точное отслеживание в этих сценариях, но для тех, кто это делает, отслеживание глаз может быть выполнено.

Почему отслеживание глаз имеет огромное значение для VR / AR

Некоторые из причин, по которым отслеживание глаз будет иметь огромное значение для индустрии погружения в будущем.

Отслеживание глаз позволяет разработчикам оптимизировать производительность VR / AR-приложений, фокусируя системные ресурсы именно там, куда в данный момент смотрит пользователь. Это не только снижает высокий барьер для входа в VR, но и дает создателям возможность создавать захватывающие визуальные эффекты, разумно используя свои ресурсы обработки.

Еще одно значительное визуальное улучшение связано с тем фактом, что технология отслеживания глаз может реалистично имитировать естественный фокус - функция, которая до сих пор полностью отсутствовала в гарнитурах виртуальной реальности.

С устройствами на основе экрана, которые мы используем сегодня, всякий раз, когда мы хотим выполнить какое-либо действие, нам нужно сообщить нашему устройству, что мы хотим, чтобы оно сделало. Обычно мы делаем это, прикасаясь к определенной области экрана (взаимодействие с сенсорным экраном) или указывая на объекты курсором (с помощью мыши).

Однако, прежде чем делать что-либо из этих вещей, мы всегда смотрим на то, с чем собираемся взаимодействовать, и именно здесь на помощь приходит отслеживание глаз.

Это устраняет посредников, позволяя нам взаимодействовать с контентом, просто просматривая его. Это приведет к появлению новых способов создания пользовательских интерфейсов, которые кажутся естественными и невероятно точными, полностью заменяя необходимость в курсорах и большинстве сенсорных взаимодействий в целом. Интерактивность отслеживания глаз также дискретна по своей природе и может позволить нам использовать компьютеры с эффектом погружения в небольших общественных местах — возможно, отвечая на один из самых больших вопросов дизайна в VR / AR сегодня.

Отслеживание глаз позволит создателям VR / MR получить доступ к беспрецедентному уровню аналитики использования — они не только будут точно знать, на что пользователи смотрели или игнорировали на протяжении всего опыта, они также смогут точно измерить вовлеченность с помощью отслеживания зрачков.

Возможно, вы слышали, что зрачки человека расширяются при физическом влечении: но дело идет гораздо дальше. Расширение зрачка выдает не только физическую привлекательность, но и умственное напряжение и эмоциональную вовлеченность. Это может доходить даже до того, что предсказывать действия пользователя за секунды до того, как он это сделает

Все это окажет огромное влияние на разработчиков и позволит им комбинировать эти фрагменты данных для создания захватывающего программного обеспечения, которое на 100% реагирует на эмоции пользователя и действительно понимает, что происходит у них в голове по мере углубления в опыт.

Отслеживание глаз также приведет к ряду новых взаимодействий и игровых механик, которые раньше были невозможны — виртуальные персонажи теперь будут знать, когда вы смотрите на них, даже заходя так далеко, что будете подвергать перекрестному допросу, на что вы смотрите и почему.

Пользователи смогут прицеливаться глазами, выбирать повествование, просто глядя на объект, и осмысленно изменять мир вокруг себя почти подсознательными жестами, открывая ряд новых возможностей для творческого повествования и дизайна взаимодействия.