Навигация и интерфейс в средах виртуальной реальности (стр. 2 )

В рамках данной работы под понятием интерфейс будет пониматься интерфейс пользователя - разновидность интерфейсов, в котором одна сторона представлена человеком (пользователем), другая — машиной/устройством. Представляет собой совокупность средств и методов, при помощи которых пользователь взаимодействует с множеством различных, чаще всего сложных, элементов, машин и устройств.

Командная строка – это первый интерфейс, который не просто сохранился до настоящего времени, но и продолжает активно использоваться. Пользовательский ввод осуществляется путем набора текстовых команд; вывод – путём выдачи на экран текстовых сообщений. В качестве команд используются глаголы действия (copy, rename и прочее), предложения, содержащие такие глаголы (show ip route), либо просто названия (telnet). Подобный подход существенно облегчал жизнь тем, кто владел английским языком. Остальным же по-прежнему приходилось запоминать (ввод) и интерпретировать (вывод) непонятные последовательности символов.

В конце прошлого века на смену командной строке пришел графический интерфейс. Графические интерфейсы состоят из меньшего набора примитивов (кнопка, подпись и тому подобное против примитивов «имя команды»), а сами примитивы, за счет графической составляющей, отличаются друг от друга гораздо сильнее, чем одна команда от другой (скажем, remove и rename). Отсутствия языковой привязки и использование универсальных метафор (вроде папок с документами) делает графический интерфейс интернационально доступным языком.

Введем (согласно [2]) понятие когнитивного расстояния интерфейса. Когнитивное расстояние измеряет усилия пользователя, необходимые для преобразования действий по вводу данных и представлений выводимой информации в операции и объекты прикладной области. Выбранные для описания модельных объектов зрительные образы должны легко подходить для этого перевода и соответствовать естественным образам моделируемой прикладной области. Точно также, действия, необходимые для манипуляций с образами должны быть близки по смыслу к командам, применяемым при работе с модельными объектами. Важной задача проектирования интерфейса является уменьшение его когнитивного расстояния. В связи с этим следует обратить внимание на синтаксис языка действий и попытаться ответить на вопрос, каким образом следует реализовать связь между синтаксисом языка действий, определяемого порядком действий пользователя, применяющего различные физические и/или виртуальные устройства ввода, и семантикой операций над объектами вычислительной модели. Язык действий пользователя связывает набор операций над модельными объектами с конкретными действиями по вводу данных. В двумерном случае набор действий, практически, постоянен как из-за ограниченного набора устройств, так и из-за устойчивых привычек пользователей. (В этом случае важна, так называемая, мышечная память пользователя). Обычный набор действий здесь состоит из перемещения пиктограмм и иных объектов из окна в окно или в текущем окне, совмещения пиктограмм, указания на пиктограммы или другие объекты, отображающие интерактивную деятельность, различных манипуляций с мышью и пр.

В 90-ые годы выявилось сужение набора устройств ввода, используемых в массовом компьютинге. Вместо таких физических устройств как световое перо, джойстик, сенсорный экран, трэк бол, широко используемых в 70-ых и начале 80-ых годов, применялись почти исключительно клавиатура и мышь, причем в начале 90-ых даже наблюдалась тенденция вытеснения реальных алфавитно-цифровых и кнопочных клавиатур виртуальными устройствами. (В настоящее время джойстик, трэк бол и особенно сенсорный экран снова заняли свое место среди устройств “двумерного” ввода, хотя и все еще уступают в этом плане мыши, по крайней мере, для массовых персональных компьютеров.) Казалось бы, сужение набора физических устройств ввода должно ограничивать возможности пользователя, уменьшать сферу применения “безрежимного” интерфейса (то есть такого интерфейса, который не требует от пользователя все время отслеживать в каком режиме он работает, помнить особенности синтаксических правил, применяемых при каждом режиме работы). Однако, использование большого набора пиктограмм и визуальных объектов, отображающих ввод данных, обеспечивает четкое различение команд путем их реализации на разных виртуальных устройствах. Кроме этого, в связи с уменьшением числа устройств ввода увеличивалась однородность интерфейса. (См. ниже.)

Среди набора традиционных требований к языкам действий пользователя (таких, как обратимость действий, наличие контекста, который обеспечивает поддержку пользовательской ориентации, наглядности интерфейса, с минимальным доверием к памяти пользователя, наличия обратной связи почти для всех пользовательских операций, подтверждения потенциально разрушительных действий пользователя) выделяется требование совместимости и согласованности интерфейса. Именно совместимость и согласованность позволяют использовать способности пользователя интерпретировать действия на базе сходства с предшествующим опытом. При этом должны учитываться устойчивые, привычные ассоциации между визуальными образами и манипуляциями над ними в виртуальной реальности и объектами и действиями в реальном мире.

Рассматриваются три уровня совместимости интерфейса:

1. Семантический, который основывается на объектах и операциях над ними, имеющими одинаковый смысл;

2. Синтаксический, определяющий порядок и расположение визуальных объектов;

3. Физический, который определяется возможностями аппаратных средств.

Для оценки языков действий пользователя введем понятия диалоговой выразительности и однородности интерфейса. Диалоговая выразительность интерфейса может быть описана следующими характеристиками:

1. Минимальное число элементарных манипуляций устройствами, необходимых для получения результата;

2. Минимальное количество переключений с устройства на устройство, необходимых для получения результата;

3. Однозначность интерпретации действий по вводу данных;

4. Естественность данного действия пользователя для получения соответствующего результата.

Однородность интерфейса можно определить как степень однообразия физических манипуляций с реальными устройствами при операциях, несущих сходную смысловую нагрузку и реализованных на подобных виртуальных устройствах.

Повышение диалоговой выразительности и однородности интерфейса также как и увеличение визуальной выразительности должны служить для уменьшения когнитивного расстояния интерфейса.

ИНТЕРФЕЙС В СРЕДАХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ.

Суть виртуальной реальности состоит в содержащейся в ней зависимости между участником и виртуальной средой. При этом взаимодействие с пользователем организуется за счет непосредственного погружения в среду.

Можно сформулировать в случае сред виртуальной реальности требования к “хорошему” интерфейсу. Когнитивное расстояние интерфейса может быть уменьшено при разработке таких методик манипуляций с устройством ввода, которые с какой-то степенью точности соответствуют воздействию на виртуальный объект (к примеру, поворот манипулятора приводит к аналогичному повороту объекта). В частности, согласованность интерфейса в случае сред виртуальной реальности означает требование того, чтобы манипуляции с виртуальными объектами были подобными манипуляциям с исходным объектом в руках человека в реальном мире. Манипуляции в рамках систем научной визуализации часто связаны с сечениями, определениями изолиний и изоповерхностей, перемещениями в трехмерном пространстве и пр. Отсюда непосредственно вытекает то, что способ ввода должен быть трехмерным. Однородность интерфейса выглядит как минимизация набора виртуальных манипуляторов.

Перед разработчиком интерфейса возникают проблемы, связанные, во-первых, с выбором набора допустимых манипуляций с объектами, а, во-вторых, с поиском или разработкой устройств ввода удобных для осуществления выбранных взаимодействий.

Интерфейс должен быть простым с технической точки зрения (простота установки устройства ввода и легкость его повседневного использования) и, по возможности, недорогим. В этой связи при работе в рамках виртуальной реальности предпочтение следует отдать мало отвлекающим и не мешающим работать средствам, а не носимым на голове или теле громоздким и тяжелым конструкциям. Также мало приемлема организация взаимодействия с виртуальной средой при помощи специально выделенного оператора.

НАВИГАЦИЯ.

В течение многих веков термин навигация исключительно с судовождением. В XX веке, с развитием науки и техники, появлением воздушных судов, космических кораблей — новых объектов навигации, появились смысловые значения термина. Теперь, в общем смысле, навигация — процесс управления некоторым объектом (имеющим собственные методы передвижения) в определённом пространстве передвижения.

Применительно к виртуальной реальности под навигацией будем понимать управление виртуальным образом оператора для перемещения в виртуальной среде.

СРЕДСТВА «ТРЁХМЕРНОГО» ВВОДА.

Средства “трехмерного” ввода достаточно разнообразны. Часть таких систем являются просто расширением своих двумерных аналогов, но существуют и по-настоящему фантастические по своим идеям реализации, предназначенные, в том числе, и для сред виртуальной реальности. Именно к таким относятся аппаратура и программное обеспечение, позволяющее человеку управлять реальными и виртуальными объектами посредством мысли. Системы типа Brain-Computer Interface (BCI) основаны на психофизиологических эффектах. Взаимодействие идет за счет анализа потенциалов мозга (электроэнцефалограмм), связанных с подготовкой движения той или иной части тела. Эти потенциалы, индивидуальные у каждого человека, оцифровываются и распознаются. На первом этапе происходит обучение программы на примерах мысленной подготовки движения пользователем. Затем достаточно уверенно проводится управление реальными объектами, объектами на экране дисплея или объектами в виртуальной реальности [3],[4]. В настоящее время созданы системы мысленного управления движением в виртуальных средах, предназначенных для обучения инвалидов. Представляется, что BCI может также служить в качестве средства “трехмерного перемещения” (“виртуального полета”) пользователя в средах виртуальной реальности, предназначенных для визуализации абстрактных математических и информационных пространств. Работы в области BCI успешно продвигаются в целом ряде научных и лечебных организаций, включая и отечественные исследовательские центры. Однако пока системы на базе BCI не могут рассматриваться в качестве близкой перспективы как средства ввода в средах компьютерной визуализации. Причин много. Одна из них - мешающая работе пользователя сложность подключения аппаратуры съема потенциалов мозга. Другая – недостаточная устойчивость мысленного управления объектами. Требуется и много дополнительных исследований, например, изучение адаптации пользователя к условиям виртуального полета. Наконец, полная цена комплекса достаточно велика. Так что пока рассмотрим менее фантастические средства в области интерфейса.

Массово применяемые в системах научной визуализации, в том числе в системах на базе виртуальной реальности трехмерные устройства ввода можно грубо разбить на два класса:

1. Манипуляторы, действия которых отображаются на экране, трехмерной сцене или трехмерной поверхности (трехмерная мышь, двуручные джойстики, сенсорные сферы и т. п.)

2. Устройства, типа «захвата движения» (motion capture) разного уровня сложности, куда можно в принципе отнести и перчатки для ввода данных.

Многочисленные примеры трехмерных манипуляторов описаны опубликованных еще в прошлом десятилетии обзорах развития этой области. (См., например, [5].) Интерес для нас представляет в частности разделение средств ввода в рамках систем на базе виртуальной ре­альности на манипуляционные и навигационные, причем отмечается, что для задач манипуля­ции объектами в трехмерном пространстве необходимо обеспечивать 6 степеней свободы, то­гда как средства навигации в трехмерном пространстве можно реализовать в несколько упро­щенном виде.

В последние годы появляются новые (достаточно экзотические) манипуляторы, например, многопользовательский манипулятор на базе сенсорной сферы, созданный в исследовательском центре Microsoft [6] или в чем-то схожее (также сферическое) устройство “GlobeFish” [7], кото­рое мы рассмотрим в качестве примера. Данное устройство представляет собой шар, который можно свободно вращать вокруг любой оси. Также, толкая шар с той или иной стороны, поль­зователь может осуществить ввод движения в любом направлении. Таким образом, GlobeFish является устройством ввода с шестью степенями свободы (три оси вращения и три оси пере­мещения). С помощью данного устройства очень удобно вращать виртуальный объект и удобно осуществлять перемещение виртуального объекта в пространстве. К сожалению, данное уст­ройство не подходит для осуществления полезных в системах научной визуализации манипу­ляций с виртуальными объектами (например, сечения поверхности). Более того, для любого манипулятора можно найти такое важное в системах визуализации действие, совершать кото­рое с помощью данного устройства оказывается крайне неудобно. Нужно найти более естест­венные с этой точки зрения средства интерфейса, связанные с реальными движениями, жес­тами и манипуляциями человека.

Устройства типа «захвата движения» удобно и даже естественно использовать в качестве средств навигации. Основные их недостатки это сложность развертывания, стоимость, неудобство в использовании. В свою очередь такие устройства также делятся на несколько видов.

1. Методы с использованием оптических камер и маркеров.

Ввод трёхмерных движений пользователя осуществляется благодаря наличию нескольких камер, обозревающих его с разных углов. Сопоставляя изображения, получаемые с камер, вычислительная система определяет трёхмерное положение всех закреплённых на теле пользователя маркеров, а следовательно, и положение самого тела пользователя в пространстве. Поскольку позиции и направления объективов камер известно (благодаря предварительной калибровке), для определения координат каждого маркера достаточно двух обозревающих его камер. Однако так как маркер может быть скрыт от камеры другой частью тела или другим человеком, требуется гораздо большее количество камер (обычно от 6 до 24, но может быть и значительно выше) [9].

Оптический Motion Capture, использующий маркеры, делится на три вида: с пассивными маркерами, с активными маркерами и с фоточувствительными маркерами. Рассмотрим каждую разновидность в отдельности.

В случае пассивных маркеров, рядом с каждой камерой располагается направленный источник инфракрасного света. Благодаря сферической форме закреплённых на теле пользователя маркеров, каждая камера видит световые пятна всех маркеров, находящихся в зоне прямой видимости. Специальное программное обеспечение анализирует двухмерные изображения, получаемые со всех камер, и, на основе информации о взаимном расположении камер, вычисляет трёхмерное положение каждой точки [9, 10].

В случае активных маркеров, свет испускается самими маркерами, причем каждый маркер загорается в строго определённый момент времени, что облегчает идентификацию отдельных точек. В отличие от пассивных маркеров, данная система более устойчива к помехам, наподобие внешней засветки, но сами маркеры при этом нуждаются в постоянном электропитании [9,11].

Фоточувствительные маркеры, наоборот, улавливают свет, который испускается расположенными вокруг инфракрасными проекторами. Свет различных проекторов отличается, что позволяет каждому маркеру определять своё трёхмерное положение, а также ориентацию в пространстве [12].

К сожалению, все эти методы сложны с технической точки зрения: требуется выделенная рабочая область, вокруг которой необходимо установить множество камер и произвести их калибровку. Использование системы также затруднительно, поскольку маркеры нужно закреплять на теле человека в строго определённых позициях. И, наконец, данные системы весьма дороги.

2. Безмаркерный оптический Motion Capture

Вокруг рабочей области располагается достаточно много оптических камер. В изображениях, получаемых с камер, выделяется контур, соответствующий телу человека (контур вычисляется как разность между текущим кадром и кадром, полученным до начала использования, т. е. без человека). На основании информации о взаимном расположении камер, восстанавливается трёхмерная оболочка человека. Вычисленная оболочка сопоставляется с анатомической моделью тела (задается предварительно), что позволяет получить скелетную анимацию. Данный метод не использует маркеры или специальные костюмы, единственное требование – одежда должна достаточно плотно прилегать к телу [13]. Для него также требуется выделенная рабочая область, вокруг которой необходимо установить множество камер и произвести их калибровку, однако использовать подобную систему значительно проще благодаря отсутствию маркеров. Стоимость подобного решения также существенно ниже (но, по-прежнему, достаточно велика).

3. Неоптические методы

Существуют несколько разновидностей неоптических (т. е. не использующих оптические камеры) методов: инерциальный, механический, электромагнитный и ультразвуковой. В каждом подходе вместо анализа изображений трёхмерное положение фиксируется самими датчиками (маркерами).

Инерциальные датчики содержат в себе трёхмерный акселерометр и гироскоп, что позволяет определить ориентацию датчика в пространстве и действующие на него ускорения. Зная начальную позицию (выбирается произвольно) и скорость (ноль), система может дважды проинтегрировать ускорение и вычислить текущее положение каждого датчика в пространстве [14].

Механические системы представляют собой каркас, который крепится к телу человека (к примеру, на руку одевается перчатка). Движение тела приводит к движению элементов каркаса, которые захватываются при помощи простых механических датчиков. Механический motion capture захватывает не положение узловых точек, а углы между скелетными элементами каркаса. Трёхмерные позиции частей тела, могут быть вычислены на основе углов, но лишь относительно друг друга. Перемещение всего тела в пространстве данная система фиксировать не способна.

Электромагнитные системы, по своей сути, являются аналогами оптических систем с фоточувствительными маркерами, только вместо инфракрасных проекторов используются электромагниты. Соответственно, датчики, фиксируя интенсивность электромагнитных полей, определяют своё трёхмерное положение и ориентацию в пространстве. Данный метод сильно подвержен помехам и потому практически не используется.

Ультразвуковые системы являются аналогами оптических систем с активными маркерами, только датчики испускают не свет, а звук. Соответственно, вместо камер используются микрофоны.

По простоте использования электромагнитные и ультразвуковые системы аналогичны оптическому “motion capture” с маркерами (правда, они несколько дешевле). Инерциальные и механические системы не требуют подготовки рабочей области и, за счет небольших требований к центральному компьютеру, имеют сравнительно небольшую стоимость. Однако для их использования требуется закреплять специальные датчики (которые тяжелее маркеров для оптических систем), а механические каркасы, помимо прочего, ещё и не универсальны (должны соответствовать росту и размеру человека).

Постановка задачи.

На сегодняшний день существуют множество средств для работы со средами виртуальной реальности. Поэтому несколько ограничим области нашего исследования, более подробный обзор можно прочитать в [5], [6], [7], [8].

Для погружения в виртуальную реальность будем использовать очки виртуальной реальности, снабженные акселерометрами, позволяющими определять положение головы оператора.

Исходя из несовершенства и дороговизны современных технологий, было решено использовать манипулятор в качестве способа взаимодействия с объектами виртуального пространства. История развития «двухмерных» манипуляторов показала, что наиболее универсальным и удобным из них является мышь. Это обусловлено как её удобством и простотой, так и низкой стоимостью. Применительно к виртуальной реальности, а, следовательно, и трёхмерным интерфейсам, логично было бы применять некую «трёхмерную» мышь. Разработкой таких манипуляторов занимаются многие институты и корпорации, в одном из последующих разделов будет рассмотрено несколько наиболее интересных из них.

В 2011 году аспирантом Кафедры информатики и процессов управления Александром Зыряновым была защищена кандидатская диссертация на тему «Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода». В рамках этой диссертации Александром был предложен «интерфейс фонарика», как новый язык человеко-компьютерного взаимодействия основанного на жестах. Бесспорное преимущество данного подхода – его простота и дешевизна. Мы отойдём от жестовой составляющей предложенного интерфейса и попытаемся «скрестить» его с обычной мышью.

Использование очков виртуальной реальности даёт возможность использовать преимущества бинокулярного зрения человека, благодаря которому появляется возможность оценивать расстояния и размеры предметов, а так же видеть сквозь мелкие предметы. Постараемся реализовать виртуальную среду в которой получилось бы использовать данные преимущества.

Манипуляторы типа «трёхмерная мышь».

1. SUMA

Коллектив исследователей из компании Cambridge Consultants разработал сжимаемое устройство ввода, реагирующее на сжатие. По своему внешнему виду оно напоминает привычную всем мышь и управляет перемещением в трехмерном пространстве.

Устройство получило название Suma, созвучное названию мандарина сорта сацума, - сообщил Данкен Смит, руководитель подразделения Cambridge Consultants, которое отвечает в компании за разработку потребительских товаров и выдачу производителям лицензий на право выпуска инновационных продуктов.

В компании Cambridge Consultants были созданы несколько вариантов Suma. В январе 2010 года они были представлены на выставке Consumer Electronics Show, в Лас-Вегасе.

Внутри эластичного корпуса Suma находятся легкие приводные механизмы, окружающие ядро датчиков. В момент сжатия устройства или его движения датчики регистрируют изменение давления и перемещение. Сигналы обрабатываются встроенным программным обеспечением, а соответствующая информация пересылается активному приложению.

Разница между Suma и контроллером Nintendo Wii заключается в том, что последний реагирует только на перемещение объектов, а не на изменение их формы. Таким образом, своим появлением Suma создает условия для появления целого нового класса приложений.

Теперь вы можете одним движением руки менять всю картину происходящего, - отметил Смит.

Открывается, в частности, возможность одновременно смотреть на события как глазами пользователя, так и с позиции объекта, находящегося в фокусе внимания пользователя. Контроллерам, имеющимся сегодня, такое не под силу.

Разработчики интегрировали в свое устройство акселерометр, обеспечивающий дополнительные возможности управления. Смит утверждает, что программное обеспечение для Suma может разрабатывать кто угодно, а члены его команды представили специальную игру для привыкания, которая запускается на платформе Linux и позволяет лучше познакомиться с возможностями нового устройства.

Недостатками данного подхода является сравнительно высокая стоимость, а также «неестественность манипулирования объектами», кроме того ограниченный диапазон положений при сжатие манипулятора.

2. Мышь Elecom M-3D1UR.

Новинка построена на технологиях, разработанных фирмой Sandio Technology Corporation. Посредством мыши, как сообщает Bios Magazine, можно осуществлять перемещение и вращение объектов по осям абсцисс, ординат и аппликат. Достигается это за счёт дополнительных органов управления, размещённых на боковой панели корпуса мыши в области большого пальца и на верхней панели над колесом прокрутки.

Из за большого объема этот материал размещен на нескольких страницах: 1 2 3