Что такое объемное фото: Объемное фото. Зачем он это делает ?

Шаг 1.

Шаг 2.

Шаг 3.

Шаг 4.

Шаг 5.Создание тени.

Шаг 6.

Заключение.

Теперь Вы можете выделять как отдельные объекты так и целые области, создавая более глубокие и интересные картины. Так же хотелось бы заметить, что Вы можете применять все свои знания, для получения более реалистичной картинки.

Пусть Ваши умения и фантазия подскажут Вам верное решение. Удачи!

Желаю успехов !
Всегда для Вас : photoshoplesson. ru
У Вас возникло желание показать результаты Ваших трудов ? Выложите свои работы на наш форум !

Уважаемые посетители сайта, потратившие время на просмотр этого урока . Нам очень хотелось бы знать понравился ли он вам и был ли он вам полезен. Не поленитесь оставить комментарий . Заранее спасибо.

ПОХОЖИЕ УРОКИ:

разбираемся с терминологической путаницей / Блог компании Pult.ru / Хабр

Сегодня одним из самых эффективных способов визуальной презентации товаров в интернет ритейле считается трехмерная визуализация. Есть мнение, что трехмерное изображение или его имитация позволяют получить детальное представление о форме товаров и рассмотреть его с различных ракурсов. Чаще всего приходится слышать о “3D фото”, также используют термин “360 фото” или “360-градусная фотография”, иногда также упоминается словосочетание “3D обзоры”. Нередко все эти типы визуального контента путают, происходит подмена понятий. В отсутствии четкого понимания и терминологической путаницы, те или иные виды трехмерной визуализации до сих пор остаются не слишком востребованными со стороны интернет-магазинов, и ритейлеры предпочитают старые добрые двухмерные фото. Под катом краткий ликбез об отличиях различных типов трехмерной визуализации товаров, а также о том, что к ним вообще не относится.

3D-фотография из 19-го века

Вопреки распространенному заблуждению — это совсем не то, что мы привыкли видеть на страницах товаров интернет-магазинов. Второе название 3D-фотографии — стереография, и появилась она достаточно давно. Отцом стереофотографии считается профессор Лондонского Королевского колледжа Чарльз Уитстон (Charles Wheatstone). В 1833 году ученый создал стереоскоп — прибор, который позволял видеть объемное изображение, для чего использовались две исходные картины со смещением. Фотография в тот момент ещё не была изобретена, но именно принципы, открытые Уистоном, легли в её основу.

Первый стереофотоаппарат, оснащенный двумя объективами, предназначенный для создания 3D фотографий, появляется уже в 1849 году. Его создает шотландец Дэвид Брюстер (David Brewster). 3D фотография является фактически ровесницей обычной фотографии, а пик её популярности приходится на 20-е годы прошлого столетия. Тогда 3D фото использовались как аттракцион, на котором применяли стереоскопы для просмотра 3D фотографий экзотических стран, туристических объектов и голых натурщиц.

То, что сегодня нередко называют 3D фотографией и размещают в интернет магазинах в качестве трехмерной визуализации товара, таковой по сути не является. И этот термин некорректно применять для таких изображений.

Сегодня 3D фото существуют скорее как вид искусства и как хобби фотолюбителей, в частности, на хабре есть несколько статей

360 фото

Для того, что сегодня иногда ошибочно называют 3D фото, существует другой, более точный термин — 360 фото. По ним подразумевают технику панорамного фотографирования, которая позволяет создать иллюзию объемного объекта, как правило, вращающегося. Результат такой съемки можно отображать в виде интерактивной анимации, которая показывает объект со всех сторон и позволяет пользователю управлять вращением объекта. Фактически, это обычная панорамная фотография объекта, сделанная с горизонтальным и иногда вертикальным углом обзора 360 градусов.

Можно выделить несколько видов 360-градусных фотографий, они могут состоять из 36 изображений (отклонение очередного ракурса 10 градусов), 72 изображения и более. Чем выше количества кадров, тем более плавным будет вращение трехмерного объекта на фото и тем реалистичнее будет опыт.

В зависимости от техники съемки, выделяют однорядные и двухрядные 360-градусные фотографии. Первый тип допускает съемку и, соответственно, вращение объекта в горизонтальной плоскости. Второй предполагает создание 3-х или 4-х рядов фотографий, каждый по 12-18 снимков, обеспечивающих вращение как в горизонтальной, так и в вертикальной плоскости.

Помимо отображения в виде интерактивной анимации некоторые ритейлеры используют созданные на основе 360-градусных фотографий gif файлы. Зацикленное видео поворачивает объект с заданной скоростью и позволяет пользователю рассмотреть его с разных сторон. На основе принципов, заложенных в 360-градусную панорамную фотографию, был также реализован принцип VR-фото, позволяющий наблюдать VR-панорамы городов.

Если вернуться к реалиям Интернет-торговли и чаяниям пользователей, то 360-фото имеет всего 2 существенных технических недостатка:
— неспособность презентовать товар в действии, как это делает видео и 3D обзоры;
— значительная длительность загрузки (от 20 до 40 сек при скорости 40 мб/сек) по сравнению с двухмерными фотографиями.

3D-обзор

3D-обзор — термин, введенный в обиход компанией

для обозначения трехмерных интерактивных моделей товаров, которые они создают. Для обзора при помощи 3Dmax создается 3D модель, которая объединяется с текстурами и приобретает вид товара, слабо отличимого от фотографии. Обзор позволяет вращать объект в любой плоскости, менять текстуру, цвет, а также добавляет возможность интерактивного использования функций. При наведении на функциональный элемент модели, демонстрационный плеер отображает его название (например, место для крепления штатива камеры, вентиляционное отверстие в ноутбуке и т.п.).

Изначально объекты 3D-обзоров разительно отличались от 360-градусных фото достаточно низким визуальным реализмом, сегодня разработчикам очевидно удалось преодолеть этот недостаток. Загрузка 3D модели происходит намного быстрее, чем панорамных снимков 360, в среднем от 3 до 8 секунд. Основной проблемой массового применения 3D обзоров является их сравнительная малочисленность. Мы знаем только одну компанию, которая занимается их созданием в настоящий момент. На сколько мы могли понять, они занимаются созданием 3D обзоров товаров высокого спроса.

В настоящий момент в базе около 5000 обзоров на популярные товары, т.е. на те, которые есть у большинства ритейлеров. Компания стремится оценивать наиболее востребованные позиции, и делает на них обзоры, включая в крупные коллекции. Такое положение, вероятно, обусловлено сложностью создания таких обзоров и бизнес-моделью, учитывающей этот фактор. Компания практически не берется за заказные разработки, если ей не интересна предложенная продуктовая группа.

Они продают готовые коллекции актуальных обзоров по фиксированной стоимости. Конкретно для нашего каталога из всего, что предложено Review3, подходит коллекция наушников, остальной ассортимент товаров, реализованный в обзорах, не представлен в нашем каталоге. Характерным преимуществом обзоров можно считать стоимость, так как не уникальная, но информативная коллекция обзоров стоит значительно дешевле, чем уникальные фото.

Сухой остаток

3D фото, которыми сегодня называют любую трехмерную визуализацию в интернет ритейле корректно называть лишь стереоснимки, появившиеся ещё в 19 веке. Никакого отношения к электронной коммерции они не имеют. 360-градусные фото и 3D обзоры товаров сегодня востребованы мало. Первые в силу длительности, трудоемкости, а соответственно, стоимости технологии, а вторые — ещё и в силу ограниченности ассортимента. В итоге, большинство крупных ритейлеров, в том числе и мы, пока не торопятся переходить на новые форматы, воспринимая их как перспективное, но рискованное вложение. Между тем, за этим будущее, так как далеко не всех устраивает плоское изображение, а иных способов получить детальное представление о товаре онлайн на данный момент никто не придумал. Я полагаю, что со временем трехмерные визуализации товаров будут становиться всё более и более популярными, по крайней мере до тех пор, пока растет популярность интернет-ритейла. Приглашаю поучаствовать в опросе. Его результаты мы примем во внимание, когда будем выбирать контент для новых товаров.

Как сделать своими руками объемное фото в стеклянной банке

Какую уютную атмосферу и приятные воспоминания привносят фотографии, висящие в рамочках на стенах, в интерьер любой комнаты. Но гораздо привлекательней, по-особому ново и индивидуально будет смотреться объемное фото в стеклянной банке. Это отличный способ создания оригинального декора с использованием, дорогих вашей душе фотографий.

Важно то, что абсолютно не обязательно тратить лишние деньги  и собираться на поиски нужных «ингредиентов». Все необходимые предметы для изготовления этой вещицы можно всегда обнаружить у себя дома.

1. Перечень материалов для изготовления объемного фото в стеклянной банке
2. Изготовление объемного фото в стеклянной банке

Для формирования подобного объемного фото в стеклянной банке нам потребуются следующие материалы:

1. Обычная стеклянная банка, оснащённая крышкой из металла,обязательно с исправной резьбой на ней. Размер и объем банки можете выбирать на свое усмотрение. Все зависит от того, как вы видите эту деталь декора в своем доме.
2. Сама фотография. Здесь опять решать вам, какую фотографию выбрать. Эффектно будет смотреться фото влюбленной пары на фоне природы, но не менее выгодно фотопортрет.
3. Растительное масло. В данном вопросе выбор стоит между светлым рафинированным, либо более насыщенном желтым нерафинированным.
4. Различный декор. В качестве декора можно использовать все, что диктует вам фантазия.

Это могут быть засушенные цветы или листья, морские камушки или ракушки и т.д.

Собрав все материалы вместе можно приступать к их сборке. Вам потребуется совсем немного времени – буквально минут тридцать.Суть объемного фото в стеклянной банке состоит в том, что фотография сворачивается  аркой. То есть с одной стороны фотография должная быть как бы выпуклой.

Этапы изготовления объемного фото в стеклянной банке:

• фотография обрезается таким образом, что по высоте она совпадает с высотой банки, по ширине она должна чуть-чуть превышать длину диаметра дна банки;
• далее фотография укладывается в банку и сгибается под дугой;
• данный этап предусматривает добавление декора в банку. Причем различные камушки и ракушки лучше предварительно закрепить клеем, иначе, если они окажутся легче масла, то всплывут на поверхность. Отдельно отметим добавление цветов, допустим лаванды.

При взаимодействии с маслом, получается нечто вроде эфирного масла, что придает ему ароматный запах.

• следующим этапом необходимо будет залить содержимое банки растительным маслом;
• в заключении, необходимо плотно закрутить на банке металлическую крышку.

Объемное фото в стеклянной банке готово и теперь можно оценить  результаты «вложенных стараний».

Объемное фото в стеклянной банке — это недорогая  и уникальная  вещь, которая может стать приятным сюрпризом на юбилей, торжественное событие или подарком на обычное день рождение. А то, что фото в стеклянной банке сделано своими руками, данный акт придает ему еще большее значение для родных и близких людей.

( Пока оценок нет )

Объемное изображение | пс-medtech

Объемные данные 3D

3D-данные можно разделить на две категории: модели поверхности и объемные данные. Поверхностные модели обычно встречаются в индустрии дизайна, где объекты описываются их поверхностями, например, с использованием многоугольников или параметрических поверхностей. На медицинских рынках данные являются объемными, что означает, что внутренняя часть данных также моделируется с использованием дискретно дискретизированного трехмерного набора.

Обычно объемные данные описываются группой срезов 2D-изображения, сложенных вместе, чтобы сформировать объем. Эти срезы часто получают с помощью сканеров, таких как КТ, МРТ или УЗИ, через определенные промежутки времени. Другие методы генерируют немедленные объемные данные. Например, 3D-ультразвук использует звуковые волны так же, как 2D-ультразвук, но вместо того, чтобы передавать волны прямо через ткани и органы и обратно, он излучается под разными углами. Это вызывает трехмерное изображение.Объемные данные 4D показывают движение с помощью компиляции трехмерных изображений. Можно увидеть такие движения, как движение сердца. В отличие от большинства существующих программ для рендеринга, компания PS-Medtech разработала передовую технологию объемного рендеринга, которая сохраняет полное качество 3D-визуализации во время 3D-взаимодействия и не зависит от модальности, с помощью которой были созданы данные.

Более быстрая и качественная интерпретация с помощью объемной визуализации

«Разве не было бы замечательно визуально подержать в руках пульсирующее сердце пациента и проанализировать его изнутри и снаружи, интуитивно, быстрее и лучше? При необходимости вы можете передать сердце коллеге, который может быть на другом континенте, и в то же время все ваши ученики могут видеть, что вы делаете — вживую ».

Вместо просмотра пары изображений для каждого пациента врач имеет доступ к сотням срезов или облаков данных при использовании объемной визуализации . Однако время, затрачиваемое на каждого пациента, остается прежним. Результат — более быстрая и качественная интерпретация 3D-изображений и улучшенное медицинское обслуживание при меньших затратах.

На практике набор 3D-данных сводится к удобоваримому формату (часто один или два среза, в 2D, а не в 3D), который используется для демонстрации другим специалистам (например.грамм. рентгенолог хирургу). Из-за этого теряется богатство исходного набора 3D-данных, а также теряются преимущества для других специалистов. Разве хирурги не часто жалуются на то, что получают неправильные изображения?

Двуручное взаимодействие и 3D-рендеринг в реальном времени

‘ Когда вы берете яблоко, осматриваете его на наличие пятен, очищаете его и нарезаете ломтиками, вы используете обе руки. Делать это с одной рукой, связанной за спиной, крайне сложно. Так почему же 3D-анализ выполняется, когда одна рука связана за спиной? ’

Когда требуется взаимодействие с трехмерными объемными изображениями (например,грамм. медицинские 3D-изображения) компьютерная система должна постоянно вычислять (отображать) правильное изображение на основе действий пользователя. К сожалению, чем больше набор данных, тем выше требуется вычислительная мощность компьютерной системы, отображающей изображение. В результате качество изображения падает, а движение изображения становится рассыпчатым (падение частоты кадров). По-настоящему реалистичное интерактивное объемное изображение требует рендеринга в реальном времени с минимальной частотой кадров и без видимой потери качества изображения.
Для приложений, требующих эффективного анализа трехмерных объемных данных, важны как рендеринг трехмерных объемных данных в реальном времени, так и интуитивно понятная трехмерная навигация.

Компания PS-Medtech создала рабочие станции 3D и программное обеспечение Vesalius 3D для анализа и представления объемных данных 3D и 4D.

обзор литературы по фундаментальной науке и медицинскому восприятию изображений

Реферат

Интерпретация объемных медицинских изображений представляет собой быстро растущую долю рабочей нагрузки в радиологии. Однако относительно мало известно о стратегиях, которые лучше всего определяют поведение при поиске аномалий в объемных изображениях.Хотя существует обширная литература по восприятию двумерных медицинских изображений, остается открытым вопрос, можно ли обобщить выводы, сделанные на основе этих изображений, на объемные изображения. Важно отметить, что объемные изображения имеют определенные характеристики (например, прокрутка по глубине, плавное отслеживание движений глаз, сигналы начала движения и т. Д.), Которые следует учитывать в будущих исследованиях. В этой рукописи мы рассмотрим литературу по восприятию медицинских изображений и обсудим соответствующие результаты фундаментальной науки, которые могут быть использованы для создания прогнозов об опыте интерпретации объемных изображений.Лучше понимая поиск по объемным изображениям, мы сможем определить общие источники ошибок, охарактеризовать оптимальные стратегии поиска по глубине или разработать новые методы обучения и оценки для врачей-радиологов.

Ключевые слова: Восприятие медицинских изображений, Радиология, Визуальный поиск, Экспертиза, Объемные медицинские изображения

Значимость

Объемные медицинские изображения, такие как сканирование компьютерной томографии (КТ), состоят из серии сложенных двухмерных (2D) изображения, позволяющие более точно представить трехмерную (3D) природу анатомических структур тела. В последние годы наблюдается устойчивый рост количества объемных медицинских изображений, интерпретируемых в диагностической радиологии. Хотя объемные изображения обычно ассоциируются с лучшей производительностью, пропущенные или неправильные диагнозы остаются преобладающими в радиологии. В этом обзоре мы обсудим результаты фундаментальных научных исследований визуального внимания и памяти, которые могут помочь в нашем понимании объемного поиска медицинских изображений. Кроме того, мы обсудим то, что уже известно о поиске объемных изображений, в обзоре литературы по восприятию медицинских изображений.Хотя в настоящее время существуют существенные пробелы в наших знаниях о том, как лучше всего искать объемные изображения, этот тип исследования может в конечном итоге выявить превосходные стратегии поиска для оценки объемных изображений, определить, когда вероятны ошибки, или привести к усовершенствованным методам обучения для новых радиологов. .

Введение

Объемная медицинская визуализация, такая как КТ, магнитно-резонансная томография (МРТ) или цифровой томосинтез груди (ДГТ), помогает сохранить трехмерную природу внутренних структур тела путем наложения нескольких изображений поперечного сечения. Этот метод визуализации часто приводит к получению огромного количества информации, которую рентгенолог может оценить (Andriole et al., 2011): одна рентгенограмма грудной клетки теперь часто дополняется компьютерной томографией грудной клетки со стопкой из 1000 изображений с высоким разрешением (рис.) . К сожалению, отклонения от нормы иногда очень малы по сравнению с общим размером изображения. Чтобы проиллюстрировать эту точку зрения, Рубин (2015) подсчитал, что узелки рака легких размером от 4 до 10 мм составляют 0,01% или меньше от общего объема при типичном КТ грудной клетки.Узлы рака легкого такого размера будут видны только на нескольких срезах, что делает их необнаруживаемыми в течение большей части общего времени поиска рентгенологом (Рубин, 2015). Как опытные радиологи эффективно разбирают всю эту информацию и обнаруживают потенциальные отклонения? Есть ли оптимальные стратегии для навигации по объемным изображениям? К сожалению, несмотря на десятилетия исследований восприятия медицинских изображений, относительно мало известно об опыте интерпретации объемных медицинских изображений. Однако, учитывая растущее количество объемных изображений в радиологии, ответы на эти вопросы, вероятно, будут в авангарде исследований восприятия медицинских изображений в ближайшие годы (McDonald et al., 2015).

Сравнение размеров двумерных медицинских изображений и объемных медицинских изображений. Размеры изображений являются приблизительными, и фактические размеры изображений могут значительно различаться в зависимости от случая. Для оценки размера узелков в легких используется монитор с разрешением 96 точек на дюйм. КТ, компьютерная томография

Целью данной рукописи является обзор литературы и выявление текущих пробелов в нашем понимании интерпретации объемных изображений с использованием фундаментальной научной основы.Во-первых, мы обсудим преимущества использования фундаментальных научных исследований внимания и памяти для создания обоснованных прогнозов о восприятии медицинских изображений. Далее мы обсудим девять областей исследований, которые, по нашему мнению, лучше всего отражают текущие приоритеты в данной области (таблица). В каждом из этих разделов мы обсудим соответствующие выводы из литературы по фундаментальной науке и медицинскому восприятию изображений и выделим перспективные области для будущих исследований. Этот обзор не следует рассматривать как исчерпывающий обзор литературы.Например, не будем подробно останавливаться на дебатах о переходе от аналоговой радиологии к цифровой. Хотя история создания объемных изображений — сама по себе интересная тема, она выходит за рамки данного обзора. Кроме того, мы не будем подробно обсуждать уникальные методологические проблемы, связанные с исследованиями объемной визуализации, и подходы, которые исследователи использовали для их решения. Вместо этого мы направляем читателя к существующим ресурсам, которые подробно освещают эту тему (Rubin, Drew, & Williams, 2018; Venjakob & Mello-Thoms, 2015).Скорее, эта рукопись представляет собой избранный обзор литературы по восприятию объемных изображений через призму фундаментальных исследований зрительного внимания и памяти. Хотя многие из этих тем, несомненно, относятся и к 2D-визуализации, основная цель этой рукописи — сосредоточить внимание на вопросах, наиболее актуальных для объемной визуализации, и послужить катализатором для будущих исследований в этой области.

Таблица 1

Важные области исследований объемного восприятия изображений

Что мы можем узнать о восприятии медицинских изображений из фундаментальных научных исследований?

В течение нескольких десятилетий исследователи пытались охарактеризовать, как опытные радиологи интерпретируют медицинские изображения.Одновременно с этим ученые-когнитивисты создают огромное количество литературы по визуальному поиску, используя строго контролируемые лабораторные задачи, такие как «найти горизонтальную линию среди вертикальных линий». На первый взгляд кажется, что эти искусственные задачи имеют мало общего со сложными радиологическими задачами, такими как определение признаков рака груди на маммограмме. Однако по своей сути обе эти задачи можно охарактеризовать как визуальный поиск и полагаться на одни и те же механизмы (Wolfe, Evans, Drew, Aizenman, & Josephs, 2016).В последние годы ученые-когнитивисты продемонстрировали замечательный потенциал применения результатов фундаментальной науки для решения реальных задач, таких как радиология (рис.). Например, наблюдатели в лаборатории часто не замечают человека, проходящего через баскетбольный матч в костюме гориллы, когда они выполняют второстепенную задачу (например, подсчет количества передач между игроками), явление, известное как «слепота невнимания» (Саймонс И Chabris, 1999). Точно так же 83% рентгенологов пропустили изображение гориллы размером со спичку, встроенное в срез компьютерной томографии грудной клетки, когда они искали признаки рака легких (Drew, Võ, & Wolfe, 2013).Это исследование может помочь объяснить, почему случайные находки, которые представляют собой неожиданные отклонения, которые не являются основным предметом поиска, иногда упускаются в радиологии (Wolfe, Soce, & Schill, 2017).

Хотя многие результаты лабораторных задач визуального поиска были воспроизведены в медицинской литературе по восприятию изображений (например, Evans, Georgian-Smith, et al., 2013; Drew et al., 2013), четкого аналога объемным изображениям не существует. в фундаментальной научной литературе. Тем не менее, понимание будущих направлений исследований по поиску объемных изображений может быть получено из результатов визуального поиска в 2D, а также из растущих исследований в области вождения, визуального поиска в реальном мире, замкнутого телевидения (CCTV) и виртуальной реальности.Ультразвуковое изображение, перепечатанное из Hansen et al. (2016). Ультрасонография почек: фотообзор. Diagnostics , 6 (1), 2., и используется здесь в соответствии с лицензией Creative Commons. Изображение патологии получено из коллекции Sarcomas Консорциума клинического протеомного анализа опухолей Национального института рака (CPTAC-SAR) за 2018 г. и использовано здесь в соответствии с лицензией Creative Commons License

Примеры трансляционных исследований из фундаментальной науки в радиологию, которые были тщательно обобщены в другом месте (Wolfe, 2016 ; Wolfe et al., 2016), подчеркивают перспективу использования наших знаний о человеческом познании для прогнозирования того, как радиологи ищут медицинские изображения и когда они будут наиболее подвержены ошибкам. Однако объемная визуализация создала новый набор проблем как для радиологов, так и для исследователей восприятия, стремящихся лучше их понять. Впервые объемная визуализация была введена в клиническую практику в 1970-х годах, но в последние годы произошло резкое увеличение размера и количества объемных изображений, интерпретируемых в читальном зале радиологии (Andriole et al., 2011; Макдональд и др., 2015). Например, количество поперечных изображений в одном учреждении увеличилось в десять раз с 1990 по 2010 год (McDonald et al., 2015). К сожалению, большинство исследований восприятия медицинских изображений основано на 2D-изображениях, таких как рентгенограммы грудной клетки. В области фундаментальной науки существует обширная литература по визуальному поиску в двумерных лабораторных задачах и растущая литература по поиску в трехмерном мире. Однако объемные изображения нельзя однозначно отнести ни к одной из этих категорий (рис.). Тем не менее, есть ряд выводов из этих двух источников литературы, которые могут дать представление об интерпретации объемных изображений, которые мы выделим в этом обзоре.

Хотя большую часть работы радиолога можно охарактеризовать как принятие решений, например, определение того, является ли подозрительное открытие злокачественным или доброкачественным, в этом обзоре основное внимание будет уделено тому, как обнаруживаются и идентифицируются потенциальные аномалии с помощью визуального поиска. Чтобы ограничить обсуждение визуального поиска, мы в первую очередь будем полагаться на модель управляемого поиска (Wolfe, Cave, & Franzel, 1989).Модель управляемого поиска утверждает, что ранняя информация направляет внимание снизу вверх или сверху вниз к определенным функциям сцены. Направление снизу вверх определяется свойствами самого стимула. Например, при отсутствии другой задачи ярко-красный мак в поле ромашек может привлечь внимание. Напротив, руководство сверху вниз определяется внутренним состоянием наблюдателя и историей выбора. Внимание, направленное сверху вниз, часто может подавлять влияние механизмов снизу вверх.Например, целевые репрезентации, хранящиеся в памяти, могут помочь отвлечь внимание от заметных отвлекающих факторов (например, красного мака) и к особенностям окружающей среды, которые соответствуют характеристикам цели. Вместе восходящие и нисходящие факторы создают карту приоритетов, которая направляет внимание на области сцены, которые с большей вероятностью могут содержать цель.

Какие свойства стимула направляют внимание в объемных медицинских изображениях?

Направляющие снизу вверх при визуальном поиске могут быть очень эффективными, когда наиболее заметные объекты в сцене соответствуют вашим целям (например,g., выявление большой опухоли головного мозга), но вредно, если ваша задача включает обнаружение незаметных целей (например, небольших узелков рака легкого). К сожалению, наиболее заметные области медицинских изображений не всегда являются наиболее информативными для рентгенолога. Один хорошо зарекомендовавший себя механизм ограничения влияния восходящей информации — это нисходящие знания о задаче. При прочих равных, эксперты должны иметь возможность лучше использовать нисходящую стратегию при поиске медицинских изображений, чем новички, благодаря своим обширным медицинским знаниям и прошлому опыту работы с аналогичными изображениями.По той же причине наибольшие различия между экспертами и новичками следует искать в задачах, для которых стратегия снизу вверх не приносит пользы. В целом эти прогнозы получили хорошую поддержку в радиологии, в дополнение к ряду других задач и профессий (Cooper, Gale, Darker, Toms, & Saada, 2009; Humphrey & Underwood, 2009; Koide, Kubo, Nishida, Shibata, И Икеда, 2015; Лэнсдейл, Андервуд и Дэвис, 2010). Например, движения глаз новичков были точно предсказаны с помощью карты значимости при анализе компьютерной томографии головного мозга одного среза для выявления цереброваскулярных нарушений (Matsumoto et al., 2011, см. Также Nodine, Kundel, Lauver, & Toto, 1996). Точно так же эксперты рассматривали клинически значимые малозаметные области дольше, чем новички. Однако, если клинически значимые области были наиболее заметными, движения глаз экспертов и новичков не различались (Matsumoto et al., 2011).

Необходимы дальнейшие исследования, чтобы определить особенности, которые влияют на обнаруживаемость аномалий в объемных медицинских изображениях. На рентгенограммах грудной клетки исследователи использовали отслеживание взгляда, чтобы различать свойства поражения, которые первоначально привлекают внимание во время поиска (измеряемое по времени до первого удара), и те, которые удерживают внимание после обнаружения отклонения (измеряемое временем пребывания) (Крупински , Berger, Dallas, & Roehrig, 2003).В контексте управляемого поиска «время до первого попадания» обеспечивает индекс свойств стимула, которые более эффективно направляют внимание к поражению во время визуального поиска, тогда как время задержки, вероятно, отражает процессы распознавания или принятия решений. Хотя был оценен ряд характеристик (например, отношение сигнал / шум, заметность, местоположение и кальцификация), ни одна из этих характеристик не повлияла на то, как быстро внимание будет направлено на соответствующее место на изображении. Однако как размер узелков, так и их заметность влияли на время пребывания на поражении и предсказывали общую скорость обнаружения узелков.Напротив, Кармоди, Нодин и Кундель (1981) обнаружили, что заметность узелков влияет как на поиск, так и на процессы принятия решений. Менее заметные узелки выявлялись реже в парадигме просмотра со вспышкой и были связаны с большим количеством сравнительных сканирований с нормальными структурами изображения во время свободного просмотра (определяемого как фиксация на аномалии с последующей саккадой и рефиксацией). В будущей работе было бы полезно оценить роль сравнительных сканирований для выявления различных типов поражений на объемных изображениях.Например, процесс принятия решения для идентификации узелка в легких может включать сравнение того, как внешний вид аномалии изменяется по глубине относительно нормальных структур на изображении (например, кровеносных сосудов).

Чтобы определить, какие особенности стимула улучшают обнаруживаемость при поиске объемных изображений, может быть полезно опираться на фундаментальную научную литературу. Согласно Wolfe and Horowitz (2004), есть четыре основных атрибута, которые были четко установлены на основе сходных данных в литературе: движение, цвет, ориентация и размер.Хотя все эти функции, несомненно, важны для обнаружения аномалий на медицинских изображениях, движение — это атрибут, который однозначно применим к объемным изображениям. В объемных изображениях может казаться, что структуры движутся вдоль 2D-плоскости, когда наблюдатель перемещается по глубине изображения, что, как считается, вызывает плавные движения глаз преследования, когда наблюдатель отслеживает эти структуры по глубине (Venjakob & Mello-Thoms, 2015 ). Кроме того, некоторые аномалии, такие как узелки рака легких, появляются и исчезают при прокрутке изображения по глубине из-за быстрых изменений диаметра структуры.Это явление может имитировать внезапные сигналы начала движения, которые, как известно, привлекают визуальное внимание (Abrams & Christ, 2003; Girelli & Luck, 1997; Jonides & Yantis, 1988; Theeuwes et al., 1999). Кроме того, движение может служить механизмом фильтрации при визуальном поиске и точно предсказывать, где будет распределяться внимание в динамических сценах (Kramer, Martin-Emerson, Larish, & Andersen, 1996; McLeod, Driver, Dienes, & Crisp, 1991; Mital et al. др., 2011). Кроме того, даже если движение не является определяющим признаком цели, наблюдатели узнают частые ассоциации между целями и их перемещениями и используют эту информацию для направления поиска (Scarince & Hout, 2018).

Хотя фундаментальная наука предполагает, что сигналы движения служат эффективной формой наведения на цель, лишь несколько исследований касались этой темы в области восприятия медицинских изображений. Например, исследователи обнаружили, что искусственное наведение сигналов движения в статические изображения увеличивает способность обнаружения как при маммографии, так и при рентгенографии грудной клетки (Andia et al., 2009). Кроме того, исследователи проверили предсказание о том, что поиск в окнах меньшего размера будет лучше, чем поиск в окнах большего размера на объемных изображениях, поскольку он повысит способность обнаруживать сигналы движения с помощью фовеального зрения (Venjakob, Marnitz, Phillips, & Mello-Thoms, 2016). .Хотя не было общих различий в точности между условиями, меньший размер изображения был связан с более быстрым обнаружением аномалий. Наконец, Накашима и др. (2016) проверили, менее вероятно, что узелки в легких будут обнаружены на ранних этапах исследования, когда релевантные для задачи сигналы начала движения (например, узелки в легких), вероятно, скрыты одновременными сигналами начала движения из не относящейся к задаче информации (например, кровеносные сосуды). . Они обнаружили значительный эффект от местоположения конкреций для новичков, но не для экспертов, что говорит о том, что экспертам не нужно так сильно полагаться на эти восходящие сигналы для обнаружения целей.Вероятно, это связано с тем, что у экспертов есть дополнительные механизмы, такие как четкое представление цели и улучшенная целостная обработка, которые также помогают в обнаружении отклонений.

Каковы распространенные источники ошибок при интерпретации объемных медицинских изображений?

Во время визуального поиска считается, что репрезентации цели в памяти направляют внимание сверху вниз к функциям в среде, которые соответствуют характеристикам цели (Olivers & Eimer, 2011; Olivers, Meijer & Theeuwes, 2006; Soto, Heinke , Хамфрис и Бланко, 2005).В типичных лабораторных парадигмах наблюдатель ищет одну четко определенную цель, которая либо получает сигнал при каждом испытании, либо остается неизменной на протяжении всего эксперимента. Однако поиск целей в более реалистичных обстоятельствах, когда информация о цели ухудшена, может быть более сложной задачей. Эффективность поиска лучше, когда информация о цели точна (например, изображения), а поиск менее эффективно управляется неточными (например, словесными подсказками) или категориальными (например, кошки против Гарфилда) целевыми репликами (Hout & Goldinger, 2015; Вулф, Горовиц, Кеннер, Хайл и Васан, 2004 г.).Кроме того, когда на изображении присутствует несколько целей (например, Гарфилд и Нермал), вторая цель с меньшей вероятностью будет обнаружена после обнаружения первой (Berbaum et al., 1990; Cain & Mitroff, 2013). Это явление первоначально называлось «удовлетворение поиском», что предполагало, что ошибка была вызвана преждевременным прекращением поиска после обнаружения первой цели (Berbaum et al., 1990; Tuddenham, 1962). Однако последующие исследования поставили под сомнение это объяснение (Berbaum et al., 1991), и считается, что эти ошибки имеют несколько причин (Cain, Adamo, & Mitroff, 2013). В результате термин «последующие промахи при поиске» был предложен как теоретически нейтральная альтернатива (Cain & Mitroff, 2013). К сожалению, задача радиолога часто представляет собой наихудший сценарий для репрезентаций цели: выявление неопределенного числа плохо определенных аномалий.

Учитывая эти проблемы, особенно важно рассмотреть, как различные методы визуализации могут улучшить способность радиолога выявлять аномалии.Например, двухмерная медицинская визуализация заставляет наблюдателя рассматривать органы как перекрывающиеся структуры, что может скрыть результаты и обеспечить неточные пространственные отношения между анатомическими структурами. Напротив, хотя объемная визуализация не является действительно трехмерной, меньше необходимости мысленно переводить анатомические структуры из их 2D-представлений в трехмерный мир. Неперекрывающиеся структуры, а также наличие сигналов движения могут улучшить способность обнаруживать отклонения в объемных изображениях.Помимо скрининга рака груди, прямые сравнения между объемными изображениями и их двумерными аналогами редко (Andersson et al., 2008; Ciatto et al., 2013; Gennaro et al., 2010; Gur et al., 2009; Michell et al., al., 2012; Rafferty et al., 2013; Spangler et al., 2011). Однако исследования, в которых использовался этот подход, продемонстрировали, что объемные изображения связаны с повышенной точностью (Adamo et al., 2018; Aizenman et al., 2017; Alakhras et al., 2015; Blanchon et al., 2007; Mathie & Strickland, 1997; Зельцер и др., 1995). Важно отметить, что эти различия в точности обычно связаны как с увеличением частоты совпадений, так и с уменьшением количества ложных срабатываний. Однако объемная визуализация также связана со значительными затратами: значительным увеличением времени поиска и уменьшением общего охвата (Adamo et al., 2018; Aizenman et al., 2017; Lago et al., 2018).

Важно отметить, что хотя объемная визуализация, по-видимому, превосходит другие методы визуализации, как вариабельность между наблюдателями, так и общая частота ошибок в радиологии предполагают, что есть существенные возможности для улучшения.Кроме того, недавние исследования показывают, что объемная визуализация не может быть универсальным преимуществом (Lago et al., 2018). При сравнении трехмерного томосинтеза молочной железы (DBT) и односрезового DBT не было различий в производительности, когда читателей просили идентифицировать новообразования. Напротив, 2D-визуализация была связана с лучшим обнаружением микрокальцификаций. Исследователи предположили, что объемная визуализация приводит к меньшему охвату изображения и большей зависимости от парафовеальной обработки. Следовательно, объемная визуализация, вероятно, будет стоить дорого, когда аномалии не могут быть легко обнаружены на периферии.

Чтобы лучше понять источники ошибок при интерпретации объемных изображений, полезно выйти за рамки поведенческих данных. Например, если наблюдатель пропускает поражение, часто неясно, не смогли ли они его найти или локализовали, но решили, что о нем не следует сообщать. По этой причине отслеживание взгляда широко используется для определения того, почему отклонения от нормы не учитываются при выполнении различных радиологических задач, таких как скрининг рака легких (Manning, Ethell, & Donovan, 2004). В целом, как ложноположительные, так и ложноотрицательные решения связаны с более длительным временем ожидания, что указывает на то, что неправильные решения часто связаны с дополнительным вниманием (Kundel, Nodine, & Krupinski, 1989; Manning, Barker-Mill, Donovan, & Crawford, 2006 ).Слежение за глазами также использовалось для выявления трех различных типов ошибок: ошибки поиска возникают, когда поражение не имеет ямок, ошибки распознавания возникают, когда поражение фиксируется на короткое время (менее 1 с), но не регистрируется, и возникает ошибка принятия решения. когда поражение фиксируется в течение длительного периода времени (> 1 с), но не сообщается (рис. a, Kundel, Nodine, & Carmody, 1978).

a Иллюстрация того, как пропущенный узелок можно классифицировать как ошибку поиска, распознавания или принятия решения с использованием отслеживания взгляда.Желтые круги обозначают фиксации, а красный квадрат обозначает область интереса для аномалии. b Пример расчета покрытия изображения

При скрининге рака легких с помощью рентгенограмм грудной клетки наиболее распространенным типом ошибок являются ошибки принятия решений, за которыми следуют ошибки распознавания и поиска (Donovan & Litchfield, 2013; Kundel et al., 1978). Тем не менее, Дрю и др., 2013 наблюдали относительно небольшую долю ошибок принятия решений при скрининге рака легких с использованием компьютерной томографии грудной клетки.В 3D-колонографии пролетающего мимо ствола, виртуальной навигации через внутрипросветную реконструкцию толстой кишки, большинство ошибок было идентифицировано как ошибки распознавания, а ошибок поиска практически не было (Phillips et al., 2013). Кроме того, ошибки были равномерно распределены между ошибками поиска и распознавания при идентификации микрокальцификаций в DBT (Lago et al., 2018). Однако ошибки были в первую очередь ошибками распознавания для идентификации масс. Эти исследования являются хорошими примерами расширения текущих показателей отслеживания взгляда на объемные изображения, что позволяет проводить прямые сравнения между этими модальностями.Таким образом, исследователи обнаружили, что объемная визуализация может улучшить способность точно идентифицировать аномалию после того, как она была обнаружена в различных задачах, что может быть преимуществом неперекрывающихся структур (Drew et al., 2013; Lago et al. др., 2018; Phillips et al., 2013). Однако распределение ошибок может существенно различаться в зависимости от характера задачи или даже между стратегиями поиска в рамках одной и той же задачи (Drew et al., 2013; Lago et al., 2018). В будущих исследованиях также будет важно определить, как распределение ошибок изменяется в процессе обучения интерпретации объемных медицинских изображений, что в конечном итоге может дать представление о типе помощи (например,g., компьютерное обнаружение), что было бы наиболее полезно для разных уровней опыта.

Хотя аналогичные подходы использовались для классификации ошибок в 2D и объемных изображениях (Drew et al., 2013; Lago et al., 2018; Phillips et al., 2013), в значительной степени неясно, соответствуют ли пороговые значения для этих категорий подходит для объемных изображений. Исследователям также важно рассмотреть целесообразность применения этих категорий к разным типам задач. Конечно, ненормальность, на которой не фиксируется фиксация, указывает на некоторый уровень ошибки поиска, но определение того, является ли фиксационное время пребывания в течение промежуточного времени (например,g., 500 мс) представляет собой ошибку распознавания или принятия решения, которая, вероятно, зависит как от поставленной задачи, так и от уровня знаний наблюдателя. Например, общее время пребывания узелков на рентгенограммах грудной клетки у экспертов было меньше, чем у слушателей, что отражалось в увеличении количества ошибок распознавания по сравнению с ошибками принятия решений (Donovan & Litchfield, 2013).

Альтернативный подход к классической классификации ошибок Кунделя был недавно предложен Cain et al. (2013). После записи движений глаз для тысяч испытаний они использовали подход на основе данных для рассматриваемой задачи (в их случае — задача визуального поиска с несколькими целями) для описания различных типов ошибок.Подходы, основанные на данных, позволяют регулировать порог между ошибками распознавания и принятия решения для заданного стимула на основе распределения времени ожидания или среднего наклона поиска. Используя этот подход, Cain et al. (2013) определили порог ~ 25% от значения, обычно используемого в качестве порога восприятия медицинских изображений. Примечательно, что было мало доказательств, подтверждающих четкое качественное различие между ошибками распознавания и принятия решений. Скорее, данные можно было бы более адекватно описать с помощью моделей перцептивного принятия решений, таких как дрейфовая диффузия (Ratcliff & McKoon, 2008), которые постулируют, что доказательства медленно накапливаются во время фиксации на предмете, пока не будет достигнут порог принятия решения.С этой точки зрения, ошибки распознавания и принятия решений возникают в континууме, а не в отдельных категориях. Кроме того, Cain et al. (2013) продемонстрировали, что ошибки поиска для второй цели можно разделить на новые категории. В некоторых испытаниях поиск прекращался, как только первая цель была идентифицирована, без попытки найти вторую цель (ошибка «стратегии»). В других испытаниях первая цель была повторно зафиксирована во время поиска (ошибка «истощения ресурсов»), что предполагает, что ресурсы рабочей памяти могли быть истощены из-за сохранения информации о первой цели (Cain and Mitroff, 2013).Это исследование подчеркивает, что не существует универсального подхода к классификации ошибок между задачами, а также возможности классификации на основе данных для получения дополнительной информации об источниках ошибок при визуальном поиске. Хотя этот подход требует большого количества данных, которые может быть трудно собрать наблюдателям-радиологам, может быть информативным использование метода, управляемого данными, для создания таксономии ошибок при поиске объемных изображений. Например, аномалия может быть пропущена в объемном изображении, если аномалия видна во время поиска, но никогда не фиксируется, но ошибка пропуска может также возникнуть, если фрагмент изображения, содержащий аномалию, никогда не посещается.Хотя обе они будут считаться ошибками поиска в соответствии с системой классификации Кунделя, они, вероятно, представляют собой разные источники ошибок.

Каковы последствия повышенной когнитивной нагрузки и как их преодолеть?

В свете повышенной способности обнаруживать аномалии в объемных изображениях можно было ожидать, что объемные изображения будут связаны со сниженной когнитивной нагрузкой. Однако студенты-медики сообщают о больших умственных усилиях при просмотре объемных изображений, что может быть связано с увеличением размера, сложности и времени оценки, связанными с этими изображениями (Stuijfzand et al., 2016). Этот вывод, по-видимому, подтверждается размером зрачка, физиологической мерой когнитивной нагрузки (Porter, Troscianko, & Gilchrist, 2007; Unsworth & Robison, 2018), которая увеличивается со временем поиска в объемных изображениях (Stuijfzand et al., 2016). Аналогичным образом, недавняя работа с патологами груди, исследующими слайды цифровой патологии, показала, что диаметр зрачка чувствителен к воспринимаемой сложности случая: более сложные случаи обычно были связаны с большим диаметром зрачка (Brunyé et al., 2016). Результаты из самых разных источников позволяют предположить, что зрительный поиск ухудшается, когда рабочая память облагается налогом. Одновременная нагрузка на пространственную рабочую память снижает эффективность визуального поиска как в лабораторных, так и в прикладных задачах, таких как вождение автомобиля (Oh & Kim, 2004; Recarte & Nunes, 2003). Кроме того, известно, что характерные восходящие функции более эффективно привлекают внимание при когнитивной нагрузке (Matsukura, Brockmole, Boot, & Henderson, 2011). Обычно наблюдатели в естественных задачах стремятся минимизировать свою когнитивную нагрузку, часто сканируя свое окружение, особенно когда нагрузка на память высока и задача непредсказуема (Droll & Hayhoe, 2007).Этот эффект кажется преувеличенным для новичков: более слабые шахматисты предпочитают ходы, которые уменьшают нагрузку на рабочую память, например, уменьшение количества фигур на доске (Leone, Slezak, Cecchi, & Sigman, 2014).

В радиологии увеличение когнитивной нагрузки и усталости может отрицательно сказаться на уходе за пациентом. Расхождения увеличиваются в последние часы долгого рабочего дня, и объемные изображения были определены как фактор риска для этих расхождений (Ruutiainen, Durand, Scanlon, & Itri, 2013).После просмотра изображений КТ у наблюдателей снизилась точность, повысилось зрительное утомление и увеличилось зрительное напряжение (Крупински и др., 2012). Точно так же протоколы «подумай вслух» показывают, что радиологи чаще говорят об эффективных стратегиях поиска и навыках манипулирования изображениями на объемных изображениях, чем на 2D-изображениях (van der Gijp et al., 2015). Кроме того, одно исследование показывает, что пациенты в большей степени подвержены усталости, чем эксперты, при обнаружении аномалий при КТ брюшной полости (Bertram et al., 2016).В будущих исследованиях необходимо будет определить, какие стратегии поиска лучше всего компенсируют когнитивную нагрузку, связанную с объемными медицинскими изображениями.

Каковы лучшие стратегии глубинного поиска в различных задачах и модальностях?

Одно особенно многообещающее направление исследований — это изучение того, как изменение поведения прокрутки может быть связано с производительностью поиска. Дрю и др. (2013) обнаружили, что принятие стратегии быстрого «просверливания» по глубине при сохранении фиксации превосходит «сканирование» плоскостей x и y при медленном перемещении по глубине во время скрининга рака легких (рис.). Хотя это исследование не тестировало использование сигналов движения напрямую, возможно, что сверление позволяет наблюдателю более эффективно использовать преимущества временных сигналов движения, чтобы отличать кровеносные сосуды от узлов, которые, кажется, «появляются и исчезают из поля зрения» при прокрутке. глубина. В поддержку этого предложения Wen et al. (2016) обнаружили, что сканеры и бурильщики используют разные восходящие сигналы в задачах скрининга рака легких. Похоже, что бурильщики лучше умеют использовать заметные сигналы движения, тогда как поисковое поведение сканеров в значительной степени определяется выраженностью 2D.Помимо общих различий в производительности, распределение ошибок между сканерами и бурильщиками различалось: бурильщики, как правило, имеют больше ошибок распознавания, чем сканеры, а сканеры, как правило, делают больше ошибок поиска, чем бурильщики. В настоящее время неясно, как эти поисковые стратегии возникают в процессе обучения. Дрю и др. (2013) обнаружили, что бурильщики, как правило, просматривают больше случаев компьютерной томографии в неделю, чем сканеры. Однако различий в стратегии поиска, основанных на многолетнем опыте, не было, а размер выборки был недостаточно велик, чтобы полностью разделить влияние стратегии поиска и опыта на общую производительность.

При поиске узлов в легких с помощью компьютерной томографии (КТ) грудной клетки появляются две стратегии: сканирование и сверление. Сканеры перемещают взгляд по двухмерной плоскости, медленно прокручивая глубину. В отличие от этого бурильщики держат глаза относительно неподвижно в одной области за раз, быстро прокручивая глубину. В настоящее время в значительной степени неизвестно, как эти стратегии применимы к другим модальностям или задачам. Рисунок перепечатан с разрешения Rubin et al. (2018).Восприятие объемных данных. В Справочник по восприятию медицинских изображений и технологиям (Том 2). Кембридж, Соединенное Королевство: Издательство Кембриджского университета. Первоначальная фигура была воссоздана по рисункам Дрю, В, Олвала и др. (2013). Сканеры и бурильщики: характеристика экспертного визуального поиска по объемным изображениям. Journal of Vision , 13 (10), 3

В будущих исследованиях будет полезно изучить лучшие стратегии поиска в объемных изображениях для различных задач и модальностей.Стратегии поиска, наиболее эффективные для данной задачи (например, обнаружение очаговых аномалий, таких как узелки рака легких), могут не быть оптимальными для аномалий, определяемых различными восходящими свойствами (например, обнаружение диффузных аномалий, таких как пневмония). Есть несколько хороших примеров этих сравнений из исследований с использованием 2D медицинских изображений (например, Gegenfurtner & Seppänen, 2013; Krupinski, 2005; Krupinski et al., 2003; Mousa et al., 2014). Например, при просмотре рентгенограмм грудной клетки выявляются различные шаблоны поиска диффузных аномалий, очаговых аномалий и нормальных изображений (Kok, De Bruin, Robben, & van Merriënboer, 2012).Кроме того, у экспертов и новичков разные модели поведения в зависимости от типа аномалии. Диффузные аномалии обычно приводили к более коротким и рассредоточенным фиксациям, но этот эффект был более выражен у студентов. Напротив, очаговые аномалии характеризовались более длительной фиксацией в данном месте. Примечательно, что при прямом сравнении томосинтеза груди и КТ грудной клетки Aizenman et al. (2017) обнаружили, что томосинтез груди привел к более строгой стратегии сверления, чем КТ грудной клетки.Кроме того, ни один наблюдатель не принял стратегию сканирования. Точно так же, хотя и сканеры, и бурильщики могли быть идентифицированы при обследовании КТ брюшной полости и таза, не было никакого преимущества в точности, связанного с работой бурильщика (Kelahan et al., 2019-2019). Различие между сканером и бурильщиком также недавно распространилось на область цифровой патологии, где врачи панорамируют и увеличивают большие изображения, чтобы более внимательно рассмотреть подозрительные области (Mercan, Shapiro, Brunyé, Weaver, & Elmore, 2018). В этой области сканирование, по-видимому, является доминирующей стратегией, но не было никаких различий в производительности.В будущих исследованиях может оказаться полезным более систематически оценивать свойства стимула, влияющие на относительную долю этих стратегий в объемных изображениях.

Недавнее исследование подошло к вопросу об изменчивости шаблонов сканирования у разных наблюдателей с использованием нового инструмента под названием ScanMatch (Crowe, Gilchrist, & Kent, 2018). Метод ScanMatch сравнивает последовательности фиксации между наблюдателями, присваивая буквенное значение каждой области и генерируя последовательность строк для каждого участника.Затем эти строки сравниваются между наблюдателями, и получается оценка сходства. В этом исследовании наблюдатели просмотрели два прогона МРТ головного мозга с фиксированной скоростью. В целом эксперты использовали больше похожих схем сканирования, чем новички. Кроме того, большее сходство было связано с лучшей производительностью. Эти результаты можно объяснить несколькими способами. Во-первых, возможно, что эксперты руководствуются статистическими отклонениями, обнаруженными при первом предъявлении стимула, что подтверждается повышенными оценками сходства для истинно положительных результатов и более низкими оценками сходства для ложноотрицательных результатов.Однако такая же закономерность не была обнаружена для истинно отрицательных результатов, что побудило авторов предположить, что вместо этого эксперты могли бы использовать более систематические стратегии поиска при отсутствии статистических нарушений. В соответствии с этой точкой зрения, наблюдатели применяют стратегии эндогенного систематического поиска в визуальных дисплеях, в которых отсутствуют функции, которые обычно определяют поведение при поиске, такие как заметность и семантическая информация (Solman & Kingstone, 2015). Кроме того, стратегии систематического поиска были более тесно связаны с наиболее успешными игроками.В будущих исследованиях было бы интересно проверить эти прогнозы более непосредственно при поиске объемных изображений, особенно в том, что касается надежности поведения прокрутки по глубине с использованием более клинически обоснованных парадигм свободной прокрутки.

Как изучаются закономерности сцены в объемных изображениях?

В типичной лабораторной поисковой задаче наблюдателя могут попросить указать, присутствует или отсутствует цель на дисплее, который состоит из случайно упорядоченных объектов на пустом фоне.Напротив, сцены реального мира богаты контекстом, а соседние объекты часто тесно связаны друг с другом. Зубная щетка возле раковины в ванной будет обнаружена быстрее, чем зубная щетка, помещенная на пианино или плавающая в воздухе (Torralba, Oliva, Castelhano, & Henderson, 2006). Эта форма нисходящего руководства называется грамматикой сцены (Võ & Wolfe, 2015). Для знающего наблюдателя медицинские изображения также хорошо структурированы и контекстуальны. Например, камни в желчном пузыре всегда находятся в желчном пузыре, расположенном под печенью.Это сильно ограничивает области КТ брюшной полости, которые необходимо исследовать на наличие камней в желчном пузыре. Считается, что этот тип нисходящего знания изменяет области рентгенограмм грудной клетки, которые исследуются в ходе обучения, что приводит к качественно разным схемам поиска между экспертами и новичками (Kundel & La Follette, Jr., 1972; Manning, Ethell, Донован и Кроуфорд, 2006 г.). Важно отметить, что этот эффект, кажется, развивается органически без каких-либо явных инструкций о том, как выполнять поиск на рентгенограммах грудной клетки, что предполагает, что он в значительной степени обусловлен нисходящими знаниями о том, где могут возникнуть аномалии, а не обучением конкретным стратегиям поиска.

Хотя наши познания в мире позволяют нам сделать обоснованное предположение о том, где найти зубную щетку в чужом доме, мы, вероятно, быстрее найдем зубную щетку в собственной ванной из-за неоднократного опыта. В лаборатории выигрыш от времени отклика от многократных воздействий на один и тот же поисковый массив называется контекстной подсказкой (Chun & Jiang, 1998). Хотя эти эффекты обычно наблюдаются в высокоискусственных задачах поиска, контекстная подсказка также встречается в динамических задачах, где цели и отвлекающие факторы постоянно перемещаются по определенной траектории, трехмерных дисплеях глубины, на открытом воздухе и в виртуальных квартирах (Chun & Jiang, 1999; Jiang, Won, Swallow, & Mussack, 2014; Kit et al., 2014; Ли, Айвар, Кит, Тонг и Хэйхо, 2016 г .; Занг, Ши, Мюллер и Кончи, 2017). Более того, хотя объектная информация является сильным контекстным сигналом (Koehler & Eckstein, 2017), контекстное руководство не обязательно зависит от объектов в сцене; эту информацию можно извлечь из статистических закономерностей в визуальных объектах низкого уровня (Torralba et al., 2006). Кроме того, контекстная подсказка толерантна к ряду изменений между воздействиями (Song & Jiang, 2005).

Учитывая большой размер объемных медицинских изображений (Andriole et al., 2011; McDonald et al., 2015), для радиологов, несомненно, важно использовать некоторые из вышеупомянутых механизмов, чтобы сузить область поиска до соответствующих областей пространства. Просто непрактично искать каждый пиксель большого компьютерного томографа (рис.), И вполне вероятно, что это руководство сверху вниз является одним из самых больших преимуществ опыта (обзоры см. В Gegenfurtner et al., 2011 и van der Gijp и др., 2016). Однако, в отличие от интерпретации двухмерных медицинских изображений, влияние нисходящих знаний на стратегию поиска наблюдателя в процессе обучения при чтении объемных изображений в значительной степени неизвестно, особенно в том, что касается прокрутки по глубине.Как правило, экспертные исследования подходят к этим вопросам путем анализа косвенных показателей, таких как охват изображения или время до первого попадания, на разных уровнях опыта (например, Donovan & Litchfield, 2013; Manning et al., 2006). Однако может быть трудно отделить влияние медицинских знаний от изученных статистических закономерностей, используя эти косвенные меры нисходящей обработки. Дополнительным подходом к этим косвенным измерениям может быть обучение начинающих наблюдателей искусственным объемным дисплеям и определение того, как поведение поиска меняется с опытом.

Каковы особенности экспертизы объемной интерпретации изображений?

Преимущество регулярностей в нашей среде заключается в том, что мы можем формировать подробные представления сцены, известные как схемы, для управления поведением визуального поиска. Например, контекстная подсказка, по-видимому, полагается на ресурсы пространственной рабочей памяти для выражения, но не получения выученных отображений (Annac et al., 2013; Manginelli, Langer, Klose, & Pollmann, 2013). Считается, что пространственная рабочая память быстро связывает текущую конфигурацию поиска со схемами, хранящимися в долговременной памяти, делая наблюдателя чувствительным к статистическим отклонениям в их среде.Фактически, знакомые сцены, представленные в течение доли секунды, можно точно разделить на категории (Potter, 1975), направить последующие движения глаз (Castelhano & Henderson, 2007) и повысить обнаруживаемость новых объектов в сцене (Brockmole & Henderson, 2005; Чен и Зелинский, 2006). Это явление упоминается в литературе как «суть», «целостная» или «глобальная» обработка, и его часто изучают с использованием парадигмы движущегося окна вспышки (Castelhano & Henderson, 2007). В этой парадигме наблюдателям показывается краткий предварительный просмотр сцены, за которым следует маска и последующий целевой сигнал.Задача поиска выполняется с использованием окна контингента взгляда, которое устраняет влияние онлайн-парафовеальной обработки и изолирует эффект предварительного просмотра сцены (то есть первоначального целостного впечатления) на поведение при поиске.

В радиологии положительные эффекты предварительного просмотра сцены кажутся более скромными, чем те, которые наблюдаются в литературе по визуальному поиску. Предварительный просмотр сцен перед задачей обнаружения рака легких был связан с небольшим сокращением времени поиска и меньшим количеством общих фиксаций (Litchfield & Donovan, 2016).Однако эти преимущества не соответствовали повышению точности и были слабо связаны с опытом. Кроме того, превью сцены оказывалось вредным, если патология варьировалась между испытаниями. Тем не менее, есть убедительные доказательства того, что радиологи могут быстро обнаруживать статистические аномалии на медицинских изображениях. Kundel и Nodine (1975) обнаружили, что 70% узелков в легких были обнаружены после того, как рентгенограммы грудной клетки просматривались только в течение 200 мс. Точно так же исследования показали, что маммографы могут классифицировать изображения как нормальные или ненормальные с большей вероятностью после просмотра их в течение всего 250 мс (Evans, Georgian-Smith, Tambouret, Birdwell, & Wolfe, 2013).Однако возможность локализовать эти поражения была случайной (хотя см. Carrigan, Wardle, & Rich, 2018). Кроме того, большинство (57%) случаев рака груди и большая часть (33%) рака легких фиксируются в первую секунду просмотра, а этого времени просто недостаточно для тщательного поиска (Donovan & Litchfield 2013; Kundel, Nodine, Conant, & Weinstein, 2007; Kundel, Nodine, Krupinski, & Mello-Thoms, 2008). Кроме того, отслеживание глаз демонстрирует, что опыт связан с существенными различиями в поведении поиска: эксперты демонстрируют больше схем кругового сканирования, более короткое время до первой фиксации, большую продолжительность фиксации, меньшее количество фиксаций, меньшее покрытие изображения и меньшую изменчивость взгляда ( Kundel & La Follette, Jr., 1972; Маклафлин, Бонд, Хьюз, МакКоннелл и Макфадден, 2017 г.). Примечательно, что шаблоны сканирования, подобные экспертам, могут предшествовать принятию экспертных решений (Kelly, Rainford, Darcy, Kavanagh, & Toomey, 2016).

Эти данные привели к созданию серии моделей восприятия медицинских изображений, в которых целостная обработка является важным компонентом экспертных знаний (Drew et al., 2013; Nodine & Kundel, 1987; Swennson, 1980). Свенсон предложил двухступенчатую модель. На первом этапе используется фильтр предварительного внимания, аналогичный теории интеграции признаков (FIT), который быстро выбирает определенные области изображения для обработки.На втором этапе дополнительно исследуются области, отмеченные на первом этапе. Точно так же Нодин и Кундель (1987) предложили модель глобального фокального поиска. Во время первоначального глобального впечатления изображение быстро сравнивается со схемой обычного изображения наблюдателя. На следующем этапе отклонения между изображением и мысленным представлением дополнительно оцениваются с использованием сфокусированного внимания. Наконец, Дрю и др. (2013) обрисовали в общих чертах модель, основанную на двух параллельных путях (см. Также Wolfe, Võ, Evans, & Greene, 2011).Неселективный путь извлекает глобальную информацию из изображения, используя большое поле зрения. Выборочный путь извлекает подробную визуальную информацию, которая поддерживает распознавание объектов с использованием более фокусного поиска. Хотя эти модели имеют нюансы, все они подчеркивают важность быстрого извлечения глобальной информации для управления поисковым поведением: способность, которая, как считается, увеличивается с опытом.

Хотя об опыте работы с 2D-изображениями известно много, исследований по объемным изображениям гораздо меньше.Из существующих исследований несколько рудиментарных результатов были воспроизведены в объемных изображениях (таблица). Например, эксперты более точны, быстрее ищут, быстрее обнаруживают аномалии и проявляют больше фиксации в интересующих областях (Bertram, Helle, Kaakinen, & Svedstrom, 2013; Cooper et al., 2009, 2010; Mallett et al., 2014). Однако многие результаты, основанные на 2D медицинских изображениях, не были воспроизведены с использованием объемных изображений (таблица). Например, Bertram et al. (2013) не обнаружили различий в средней продолжительности фиксации между экспертами и новичками, которая обычно используется в качестве показателя повышенной способности к обработке с опытом.Кроме того, исследователи не обнаружили групповых различий в амплитуде саккад, которая является ключевым показателем способности глобальной обработки. Аналогичным образом Mallett et al. (2014) не смогли найти каких-либо различий в движениях глаз между экспертами и новичками в пролётной эндолюминальной КТ-колонографии, кроме сокращения времени до первого преследования. Однако в обоих этих исследованиях использовались задачи (например, увеличение лимфатических узлов, висцеральные аномалии и полипы толстой кишки), которые далеки от задач, обычно используемых в исследованиях с 2D-изображениями.В настоящее время неясно, связаны ли эти различия с характером задачи или фундаментальными различиями в том, как опыт выражается в объемной визуализации. Фактически, существует очень мало прямых сравнений с отслеживанием взгляда между 2D и объемным поиском. В редком примере этого подхода Aizenman et al. (2017) обнаружили, что томосинтез груди был связан с более длительной фиксацией и меньшим охватом изображения, чем традиционная маммография. Однако амплитуда саккад была эквивалентной, что предполагает равную способность полагаться на парафовеальную обработку в обеих модальностях.

Таблица 2

Список общих результатов экспертизы на двумерных изображениях. Многие из этих основных результатов экспертизы либо не воспроизведены, либо еще не проверены на объемных изображениях (особенно с использованием парадигмы свободной прокрутки с наложенными изображениями) литературе по восприятию, но почти совершенно неизвестно, как эти способности могут проявляться в объемных изображениях.Одна из возможностей состоит в том, что глобальные впечатления постоянно формируются на 2D-плоскости по мере того, как наблюдатель прокручивает глубину. Например, наблюдатель может быстрее фиксировать аномалии с того момента, как они впервые появляются на экране (например, Helbren et al., 2014, 2015). В этом случае аналоги мер отслеживания взгляда, связанные с глобальной обработкой при интерпретации 2D-изображений, должны быть перенесены на объемные изображения (таблица). Однако глобальное представление сцены также может быть сформировано путем быстрой прокрутки по глубине изображения до использования более фокусного шаблона поиска.Это предложение нашло поддержку в литературе. В реальных задачах, таких как приготовление бутерброда, наблюдатели проводят первоначальное сканирование сцены, что помогает им быстрее находить целевые объекты во время выполнения задачи (Hayhoe, Shrivastava, Mruczek, & Pelz, 2003). Более того, возможно, что способность глобальной обработки выражается по-разному в зависимости от стратегии поиска наблюдателя. Для сканеров глобальные оттиски могут быть созданы на 2D-плоскости с каждым переходом по глубине.Напротив, бурильщики могут создать глобальное впечатление, прокручивая глубину, а затем возвращаясь к слоям глубины, которые были статистически аномальными.

В дополнение к сканерам и бурильщикам были предложены другие показатели поведения прокрутки по глубине в связи с возможностью глобальной обработки (таблица): количество посещений на срез, количество колебаний (прокрутка назад и вперед менее чем на 25%). глубины), количество половинных прогонов (прокрутка назад и вперед до 25–50% глубины) и количество полных прогонов (прокрутка назад и вперед через> 50% глубины) (Venjakob, Marnitz, Mahler, Sechelmann, & Roetting, 2012).Считается, что радиологи, которые проводят более полные исследования, используют более глобальный процесс поиска, который должен расширяться с опытом наблюдателя. Однако это предложение еще не было проверено, и эти меры не получили широкого распространения за пределами этого первоначального исследовательского исследования с использованием изображений компьютерной томографии черепа.

Таблица 3

Общие показатели отслеживания взгляда, их когнитивные корреляты и предлагаемые аналоги для объемных медицинских изображений. ROI, область интереса

В других сферах медицинской визуализации, которые можно рассматривать как аналог объемных изображений, таких как виртуальная микроскопия, существует четкая связь между опытом и возможностями глобальной обработки (Krupinski, Graham, & Weinstein, 2013; Krupinski et al. al., 2006). Хотя патологи с любым уровнем опыта, вероятно, выбирали информативные области для мест, которые они хотели бы увеличить, более опытные патологи тратили меньше времени на оценку областей, которые в конечном итоге не будут выбраны для увеличения. Эти данные, в дополнение к ряду важных поведенческих мер и мер отслеживания взгляда, позволяют предположить, что опытные патологи имеют повышенную способность быстро извлекать наиболее важную информацию из медицинских изображений. Другие исследования выявили сходство в стратегиях поиска между цифровой патологией и объемной визуализацией (Mercan et al., 2018), но в значительной степени неясно, как эти результаты связаны с опытом в той или иной области. Кроме того, между этими изображениями есть явные различия: выбор просмотра видимой части изображения с большим разрешением — это не то же самое, что прокрутка для отображения визуальной информации, встроенной по всей глубине изображения. Мы считаем, что есть ряд многообещающих областей для будущих исследований, связанных с тем, как поведение при поиске может отличаться от опыта в самых разных областях (например,г., патология, УЗИ).

При обсуждении изменений в стратегии поиска с экспертами следует учитывать важное предостережение: различия в шаблонах поиска между экспертами и новичками не обязательно означают, что обучение новичка использованию этих стратегий повысит производительность. Во многих случаях исследования показывают, что усиление целевого шаблона за счет большего воздействия на примеры нормальных и аномальных изображений было бы гораздо более полезным для новичка, чем указание им, где искать (Chen et al., 2017; Донован и Литчфилд, 2013 г .; Кундель и Ла Фоллет, мл., 1972; Manning et al., 2004; Nodine et al., 1996, 1999). Хотя есть соблазн определить кратчайшие пути к опыту, большинство усилий по обучению новичков использованию новых стратегий или следованию путям сканирования экспертов имели скромный успех или ограниченную обобщаемость (Gegenfurtner, Lehtinen, Jarodska, & Saljo, 2017; Kok et al. , 2016; Litchfield, Ball, Donovan, Manning, & Crawford, 2010; Mello-Thoms, 2008; van Geel et al., 2017).При рассмотрении этого вопроса может быть полезно подумать, какие аспекты визуального поиска можно улучшить с помощью этих методов. Обучение новичков имитации поискового поведения экспертов могло бы улучшить общую стратегию поиска, но сомнительно, что эти методы существенно улучшили бы возможности глобальной обработки, которая считается отличительным признаком опыта. Скорее, способность к глобальной обработке связана с большей способностью быстро обнаруживать статистические отклонения в изображении с помощью сильных мысленных представлений, которые приобретаются благодаря обширному опыту.Примечательно, что опытные радиологи ищут разные области изображения в каждом случае, что, как считается, определяется глобальными свойствами каждого изображения (Manning, Ethell, & Crawford, 2003). Однако обученные рентгенологи, как правило, последовательно пропускают одни и те же области, что, вероятно, отражает стратегию, на которую больше влияют априорные вероятности обнаружения аномалии в данном месте (Manning et al., 2003). Эти результаты показывают, что, хотя и эксперты, и новички полагаются на свой предыдущий опыт при поиске, эксперты имеют более сильные ментальные представления, на которые можно полагаться, чем новички.В будущих исследованиях, направленных на поиск более эффективных методов обучения, следует рассмотреть, какие элементы знаний требуют опыта, а какие являются усвоенными стратегиями. Кроме того, может быть полезно сосредоточиться на поддержке радиологов на разных этапах развития, а не на поиске ярлыков между ними.

Помимо различий на уровне группы между экспертами и новичками, может быть не менее полезным изучить, как идиосинкразии в движениях глаз связаны со значительной вариабельностью в производительности, наблюдаемой среди экспертов.Хейс и Хендерсон (2017) обнаружили, что вариации в схемах сканирования объясняют большую часть различий в объеме рабочей памяти, скорости обработки и интеллекта людей. Более того, индивидуальные различия в шаблонах сканирования кажутся довольно стабильными для разных типов задач, даже если использование жесткого шаблона сканирования может быть неоптимальным (Andrews & Coppola, 1999; Henderson & Luke, 2014; Mehoudar, Arizpe, Baker, & Yovel). , 2014; Paeye & Madelain, 2014; Poynter, Barber, Inman, & Wiggins, 2013; Rayner, Li, Williams, Cave, & Well, 2007).Кроме того, шаблоны сканирования многое говорят о стратегии поиска человека, например о предпочтении скорости или точности (Hogeboom & van Leeuwen, 1997). Многие исследователи пытались определить, существуют ли общие когнитивные способности, связанные с опытом в радиологии, которые могут помочь предсказать, кто из них может стать лучшим радиологом, или объяснить, почему равный опыт не приводит к эквивалентной работе. Эти подходы в значительной степени были безуспешными и рисуют убедительную картину специфичности предметной области с опытом (Beck, Martin, Smitherman, & Gaschen, 2013; Evans et al., 2011; Келли, Рейнфорд, Макинти и Кавана, 2017; Леонг и др., 2014; Майлс-Уорсли, Джонстон и Саймонс, 1988; Нодин и Крупински, 1998). Однако результаты первого испытания задачи визуального поиска предсказывают, какие люди будут хорошо работать с опытом, что предполагает наличие важных индивидуальных характеристик, которые не были учтены в предыдущих исследованиях (Ericson, Kravitz, & Mitroff, 2017). Исследования из литературы по фундаментальным наукам показывают, что различия в движениях глаз могут помочь понять эти вопросы, но это еще не было оценено в литературе.

Каковы последствия ограниченного объема памяти при поиске объемных изображений?

Управляемый поиск предполагает, что внимание будет направлено на подмножество элементов в вашей среде, которые с большей вероятностью станут вашей целью. Например, если вы ищете салат ромэн в продуктовом магазине, уход за зелеными продуктами сокращает общее количество предметов, которые необходимо оценить. Однако само собой разумеется, что визуальный поиск был бы наиболее эффективным, если бы когнитивная система отслеживала, какие зеленые элементы уже были оценены, чтобы направить внимание на новые места и минимизировать непреднамеренные движения глаз в ранее посещенные места.Такой механизм был бы особенно полезен для профессиональных визуальных поисковиков, таких как радиологи, которым необходимо эффективно определять, какие области больших объемных изображений они уже оценили, и когда пришло время перейти к другой задаче. Многие модели визуального поиска неявно предполагают, что ранее посещенные объекты никогда не будут переоценены (например, Treisman & Gelade, 1980). В соответствии с этим предположением, исследования показали, что наблюдатели ищут так, как будто у них есть неявная память о том, где они недавно смотрели: саккады с большей вероятностью будут двигаться в том же направлении, что и предыдущая саккада, чем в противоположном направлении (Klein & MacInnes, 1999), саккадическая латентность выше в ранее посещенных местах, чем в новых (Vaughan, 1984), а скорость рефиксации больше напоминает модель, которая предполагает память о предыдущих фиксациях, чем модель, которая этого не делает (Bays & Husain, 2012; Peterson, Kramer, Wang, Ирвин и Маккарли, 2001).

Обычно предлагаемый механизм для этого явления — ингибирование возврата (IOR), который является термином, используемым для описания времени задержки ответа на зонды в недавно посещаемых местах по сравнению с новыми местами (Posner & Cohen, 1984). Считается, что в реальных задачах поиска IOR служит помощником в поиске пищи (Klein & MacInnes, 1999). В подтверждение этой гипотезы Кляйн и Макиннес (1999) обнаружили, что саккады к зонду в поисковой задаче Where’s Waldo задерживались в недавно (2–3 задних) фиксированных местах.Однако, несмотря на очевидную полезность механизма памяти в визуальном поиске, свидетельства в его пользу на удивление неоднозначны. Horowitz и Wolfe (1998) обнаружили, что на эффективность поиска не влияло перемещение объектов по сцене каждые 100 мс, что предполагает, что память обычно играет незначительную роль в визуальном поиске. Эта экстремальная модель поиска без памяти неоднократно подвергалась сомнению (например, Geyer, Von Mühlenen, & Müller, 2007; Kristjánsson, 2000; Peterson et al., 2001; Shore & Klein, 2000), но эти результаты действительно указывают на то, что визуальный поиск может задействовать меньше памяти для ранее посещенных мест, чем подсказывает наша интуиция.

Одно из предложений, которое пытается примирить эти противоречивые доказательства, состоит в том, что IOR служит для предотвращения настойчивости в визуальном поиске, но слишком ограничен по объему (~ 4 элемента) и занимает слишком много времени, чтобы проявить (~ 200–300 мс), чтобы произвести поиск, который «образцы без замены» (Wolfe, 2003). Эти ограничения также ставят под сомнение идею о том, что IOR может играть существенную роль при прокрутке больших объемных медицинских изображений, требующих сотен фиксаций. Более того, IOR, по-видимому, серьезно нарушается из-за прерываний, особенно когда массив поиска больше не отображается (Takeda & Yagi, 2000).Это говорит о том, что IOR может быть тесно связан с объектами сцены, а не с пространственным расположением. Если IOR эффективен только тогда, когда помеченные объекты видны, переход на новые уровни глубины может нарушить процесс и еще больше ограничить полезность механизма IOR при поиске объемных изображений.

Похоже, что неявная память для ранее просматриваемых мест довольно ограничена, но как насчет явной памяти? При поиске сложной сцены (например, Where’s Waldo ) наблюдатели могут отличать собственные движения глаз от случайно сгенерированных путей сканирования (Foulsham and Kingstone, 2013a, 2013b; Võ, Aizenman, & Wolfe, 2016).Однако наблюдатели близки к случайности отличить свои собственные фиксации от фиксации посторонних, особенно в статических изображениях (Foulsham and Kingstone, 2013a, 2013b; van Wermeskerken, Litchfield, & van Gog, 2018; Võ et al., 2016). Одно из объяснений этой модели результатов заключается в том, что наблюдатели полагаются на свое знание того, где было бы наиболее целесообразно смотреть на изображении для выполнения задачи, а не на сохранение представления своего пути сканирования в памяти (Foulsham & Kingstone, 2013a, 2013b ; Võ et al., 2016). В качестве дополнительной поддержки этой точки зрения наблюдатели могут лучше различать собственные движения глаз в данной сцене, когда второй наблюдатель искал другой элемент, и чрезмерно представляют вероятность того, что объекты, которые легко доступны в памяти, были зафиксированы во время визуального наблюдения. поиск (Кларк, Махон, Ирвин и Хант, 2017). Вместе эти результаты указывают на удивительно плохую явную память для ранее посещенных мест, которая в первую очередь обусловлена ​​обоснованными предположениями о том, где кто-то должен был смотреть в сцене, а не памятью как таковой.

Какие последствия плохая неявная и явная память имеют для рентгенологов, просматривающих объемные изображения? Если вы забыли, где утром искали ключи, в худшем случае вы опоздали на работу на несколько минут, потому что проверяли одни и те же места более одного раза. Тем не менее, для радиолога было бы очень важно забыть, проверяли ли он всюду на наличие признаков травм после автомобильной аварии. Это может быть особенно актуально для объемных изображений: может быть труднее поддерживать представление о том, где вы уже выполняли поиск, когда изображения увеличиваются в размере.Кроме того, если вы потеряете место, потребуется больше времени, чтобы начать заново или повторить ваши шаги в большом компьютерном томографе, чем на рентгенограмме, что еще более важно в свете увеличения нагрузки радиологов из-за объемной визуализации (Andriole et al. др., 2011; Макдональд и др., 2015).

Литература по визуальному поиску предполагает, что знание того, где вы уже искали, в значительной степени основано на статистических закономерностях и контексте сцены (Chun & Jiang, 1998; Clarke et al., 2017; Torralba et al., 2006). Нет оснований подозревать, что опытные радиологи будут отличаться в этом заключении, но у этой стратегии есть явные ограничения. Например, после прерывания, где радиолог решит возобновить поиск? Одна из возможностей состоит в том, что радиологи забыли, где они уже искали, и по незнанию повторно посещают эти места, что можно было наблюдать, отслеживая количество повторных фиксаций и точность возобновления поиска после прерывания (Williams & Drew, 2017).Однако, исходя из одних только этих мер, неясно, пересматриваются ли районы из-за того, что они забыты, или они сознательно пересматривают эти районы, чтобы лучше вспомнить, что они намеревались делать дальше. Это ограничение подчеркивает необходимость более прямых измерений памяти в прикладных задачах визуального поиска. Если явный отзыв в значительной степени основан на знании того, в каких областях следует искать, а не на знании того, где вы на самом деле искали, эта стратегия может привести к неточному возобновлению поиска после прерывания.Одна из возможностей состоит в том, что соответствующие области будут иметь приоритетные и более устойчивые к последствиям перебоев. В качестве альтернативы, если вызов памяти в первую очередь основан на том, какие области следует искать, наиболее релевантные структуры могут быть вызваны, несмотря на то, что они никогда не просматривались. Один из способов разобраться в этих возможностях — комбинировать косвенные измерения (например, отслеживание взгляда) с более прямыми измерениями (например, периодические проверки), чтобы определить, какие области с большей вероятностью будут зарегистрированы как обысканные после прерывания.

В связи с плохой памятью радиологи часто ищут удивительно малую часть медицинских изображений, даже если охват отрицательно связан с частотой ошибок в экспертной группе (Drew et al., 2013; Rubin et al., 2015; Thomas & Лансдаун, 1963). Например, Дрю и др. (2013) обнаружили, что только 69% легкого было исследовано во время скрининга рака легких с использованием оценки полезного поля зрения 5 ° (UFOV). Бурильщики покрыли большую часть изображения, чем сканеры, что может быть еще одним фактором, объясняющим их лучшую производительность.Используя меньший UFOV (угол обзора 2,6 °), Rubin et al. (2015) обнаружили, что средний охват скринингом на рак легких составлял всего 26,7%. Согласно исследованиям с использованием 2D-изображений, более высокий охват был связан с пониженной чувствительностью. Фактически, по их оценкам, для тщательного поиска изображений на каждый случай потребовалось бы почти 12 минут, но среднее время поиска было ближе к 3 минутам. При прямом сравнении двухмерного и объемного поиска изображений охват маммографии был выше, чем томосинтеза груди, по широкому диапазону оценок UFOV (Aizenman et al., 2017). Фактически, общий охват был менее 30% в объемных изображениях с использованием самой высокой оценки UFOV (5 °). Аналогичный результат уменьшения объемного покрытия изображения наблюдался в исследовании, сравнивающем DBT с односрезовым DBT (Lago et al., 2018).

Хотя очевидно, что охват для объемных изображений низкий, невозможно получить точную оценку покрытия без точной оценки UFOV (рис.). При рентгенографии грудной клетки обычная оценка UFOV составляет 5 °, потому что подавляющее большинство узелков в легких можно обнаружить в пределах этого окна (Kundel, Nodine, Thickman, & Toto, 1987).Однако известно, что UFOV уменьшается с увеличением сложности изображения и сложности задачи (Drew, Boettcher & Wolfe, 2017; Young & Hulleman, 2013), и исследования показывают, что эта оценка может быть слишком щедрой для скрининга рака легких при КТ грудной клетки (Rubin et al., 2015). Также важно отметить, что UFOV существенно зависит от размера узелка, сложности изображения и читателя (Ebner et al., 2017). В будущих исследованиях может потребоваться эмпирическая проверка оценок UFOV для конкретной задачи или отчета о результатах для ряда оценок UFOV (например,г., Айзенман и др., 2017). Например, Rubin et al. (2015) рассчитали UFOV на основе расстояния узелков от центральной фиксации в момент распознавания и обнаружили, что 99,8% обнаруженных узелков находились на расстоянии 50 пикселей или меньше от центральной фиксации (окно 2,6 °). Примечательно, что 25% пропущенных узелков никогда не находились в пределах UFOV, что подчеркивает потенциальные последствия плохого покрытия изображения на больших объемных изображениях. Кроме того, важно понимать, как UFOV изменяется в зависимости от опыта, чтобы проверить модели опыта на объемных изображениях.Например, если эксперты могут более эффективно обнаруживать аномалии с помощью парафовеального зрения, они должны иметь более широкий UFOV, чем новички.

То, как определяется полезное поле зрения (UFOV) (в градусах угла обзора (dva)), напрямую влияет на результаты последующих анализов, таких как классификация ошибок и охват изображения. В этом гипотетическом примере наблюдатель трижды зафиксировал (представлен концентрическими кругами) изображение с видимым узлом в легком (расположенном в красном поле), но не смог сообщить об этом.При использовании меньшего UFOV пропущенная аномалия будет считаться ошибкой поиска. Однако это будет классифицировано как ошибка распознавания или принятия решения с использованием наибольшей оценки UFOV. Точно так же предполагаемый охват изображения значительно зависит от размера UFOV. Важно отметить, что размер UFOV зависит как от задачи, так и от наблюдателя (Drew, Boettcher & Wolfe, 2017; Young & Hulleman, 2013; Ebner et al., 2017)

В свете плохого охвата изображения, связанного с объемными изображениями , целостная обработка может играть меньшую роль по сравнению с общим покрытием изображения: очевидно, что не может быть никаких поведенческих преимуществ, если срезы изображения, которые содержат аномалию, никогда не будут видны.Например, если в изображении есть неожиданные отклонения от нормы, может потребоваться поведенческая экспертиза. Мы знаем, что контекстная подсказка пагубно сказывается на производительности, если цель находится не в ожидаемом месте (Makovski & Jiang, 2010). Точно так же в медицинских изображениях изначально неверные целостные решения редко возвращаются (Mello-Thoms, 2009), а история болезни существенно влияет на то, как интерпретируются изображения (Norman, Brooks, Coblentz, & Babcook, 1992). В объемных изображениях эти эффекты могут усугубляться возросшей потребностью в сокращении общей области поиска и возможностью прокрутки непосредственно к интересующим областям.Например, для радиолога наиболее логичным способом обследования пациента на наличие камней в желчном пузыре является сосредоточение внимания на тех слоях изображения, где присутствует желчный пузырь. Однако такой подход может привести к негативным последствиям, если есть неожиданные отклонения, такие как рак, которые видны на разных срезах изображения. Хотя пропущенные случайные результаты не обязательно являются ошибкой в ​​контексте поставленной задачи, необнаруженный рак, тем не менее, может привести к отрицательным результатам для пациентов и / или заявлениям о врачебной халатности.Учитывая вероятность того, что неполное покрытие изображения может привести к негативным последствиям как для пациента, так и для радиолога, необходимы дальнейшие исследования по этой теме.

Учитывая ограниченность памяти при поиске, разумно задаться вопросом, как вообще внимание направляется на новые места в объемных изображениях. Отслеживание взгляда во время выполнения реальных задач предполагает, что люди постоянно анализируют окружающую среду для получения информации, а не полагаются на кратковременную память (Ballard, Hayhoe, & Pelz, 1995).Фактически, некоторые исследователи предположили, что появление мнемонических механизмов в визуальном поиске может быть в значительной степени обусловлено поисковыми стратегиями, а не памятью для ранее просматриваемых мест (Peterson, Beck, & Vomela, 2007). Наблюдатели часто принимают систематический шаблон во время упорядоченных задач визуального поиска и демонстрируют склонность к горизонтальному сканированию сцены (Dickinson & Zelinsky, 2007; Findlay & Brown, 2006; Gilchrist & Harvey, 2006). Кроме того, объем рабочей памяти (~ 4 элемента; Cowan, 2001) обычно считается ограничивающим фактором для количества предыдущих мест, которые могут храниться в памяти (McCarley, Wang, Kramer, Irwin, & Peterson, 2003).Однако некоторые исследования показали, что наблюдатели с меньшей вероятностью откорректируют целых 12 предыдущих фиксаций и с высокой степенью уверенности сообщат, появилась ли цель в этих местах (Dickinson & Zelinsky, 2007; Peterson et al., 2007). Ограничения объема рабочей памяти можно преодолеть, поддерживая грубое представление общего пути поиска, а не запоминание с высоким разрешением местоположений дистракторов (Dickinson & Zelinsky, 2007; Godwin, Benson, & Drieghe, 2013; Peterson et al., 2007). Примечательно, что случайное развертывание внимания на явные стимулы происходит быстрее, чем произвольное развертывание внимания, что может объяснить, почему наблюдатели часто не участвуют в систематическом поисковом шаблоне (Wolfe, Alvarez, & Horowitz, 2000). Это исследование показывает, что часто лучше случайным образом отсортировать большие объемы визуальной информации, чем выполнять медленные систематические поиски в окружающей среде. Однако можно разумно утверждать, что систематическая стратегия должна играть большую роль в радиологии из-за необходимости отдавать приоритет точности над скоростью в медицине.Тем не менее, Kundel et al. (1987) подсчитали, что стратегия систематического поиска с помощью рентгенограммы грудной клетки потребует 500 фиксаций и 3 минут поиска, что намного превышает то, что обычно наблюдается в этих задачах (например, 1 минута, 50 секунд экспертными наблюдателями в Christensen et al., 1981). Таким образом, кажется, что радиологи часто применяют стратегии поиска, которые ставят во главу угла эффективность перед исчерпывающим поиском.

Тем не менее, огромный размер объемных изображений может потребовать некоторой степени систематического поиска по глубине изображения, чтобы противодействовать ограниченной системе памяти.В поддержку этого предложения Солман и Кингстон (2017) обнаружили, что разделение массива поиска способствует более систематической стратегии поиска и приводит к улучшениям в явном отзыве для предыдущих целевых местоположений. Точно так же опытные дерматологи выявили меньшее количество рефиксаций, которые были разделены во времени и с меньшей вероятностью могли проследить путь сканирования, чем новички (Vaidyanathan, Pelz, Alm, Shi, & Haake, 2014). Кроме того, в других областях радиологии есть убедительные доказательства того, что использование более структурированного подхода в целом может помочь компенсировать потребности в памяти и повысить производительность.Например, по сравнению с шаблонами диктовки произвольной формы структурированные шаблоны улучшают качество диктовки (Marcal et al., 2015; Marcovici & Taylor, 2014; Schwartz, Panicek, Berk, & Hricak, 2011), поощряют соблюдение передовых практик (Kahn Jr. ., Heilbrun, & Applegate, 2013) и улучшить диагностическую точность (Bink et al., 2018; Lin, Powell, & Kagetsu, 2014; Rosskopf et al., 2015; Wildman-Tobriner et al., 2017). Аналогичным образом, использование контрольного списка с анатомическими структурами и часто пропущенными диагнозами улучшило диагностические показатели в группе студентов-медиков (Kok, Abed, & Robben, 2017, хотя см. Berbaum, Franken Jr., Caldwell, & Schwartz, 2006). Кроме того, радиологи, как правило, чаще смотрят на свои экраны диктовки после прерывания, предположительно для того, чтобы вспомнить, где они уже искали (Drew, Williams, Aldred, Heilbrun, & Minoshima, 2018). В совокупности эти данные свидетельствуют о том, что вмешательства, направленные на ограничение памяти, являются стоящими усилиями, но еще не известно, может ли принятие стратегии систематического поиска также помочь противодействовать этим ограничениям в объемном поиске.

Как радиологи решают прекратить поиск по большим объемным изображениям?

Еще одна проблема для нашей ограниченной памяти при визуальном поиске — определить, когда прекратить поиск и перейти к следующей задаче. В некоторых случаях ответ прост. Если вы ищете яблоки в новом продуктовом магазине, вы прекратите поиск, как только найдете их. Однако как узнать, когда прекратить поиск, если в магазине не продаются эти яблоки? В радиологии проблема становится еще более сложной; цели часто не указаны ни по внешнему виду, ни по количеству.Если рентгенолог обнаруживает опухоль, возможно, есть и другие опухоли, расположенные в другом месте. Самый консервативный подход — искать каждый релевантный пиксель изображения. Однако временные ограничения, вероятно, запрещают такую ​​стратегию, особенно в свете увеличения размера и количества изображений, генерируемых методами объемной визуализации в последние годы (McDonald et al., 2015). Более того, даже если у радиолога есть неограниченное количество времени для проведения такого поиска, неспособность найти аномалию не означает, что аномалии нет.Фактически, многие аномалии в радиологии фиксируются, но о них никогда не сообщается (Kundel et al., 1978). Итак, как радиолог решает, когда прекратить поиск, учитывая всю эту неопределенность?

Предложена модель прекращения поиска, аналогичная модели дрейфовой диффузии (Wolfe, 2012). Во время поиска собирается информация о том, как долго или сколько элементов вы искали, пока не будет достигнут порог завершения. Этот порог может быть изменен переменными в вашей среде, такими как вероятность присутствия цели или вознаграждение, связанное с обнаружением цели.Недавно было высказано предположение, что прекращение поиска может имитировать поведение при поиске пищи, наблюдаемое в дикой природе (Cain, Vul, Clark, & Mitroff, 2012; Wolfe, 2013). Когда животное добывает себе пищу, например, ягоды, потребление энергии увеличивается до максимума за счет перехода к следующему кусту, когда потребление падает ниже среднего потребления для этой среды, что известно как теория оптимального кормодобывания (Чарнов, 1976). Наблюдатели, похоже, следуют предсказаниям этой модели при поиске нескольких целей и собирают предметы по одной цели за раз при поиске нескольких разных типов целей (Cain et al., 2012; Вулф, 2013; Wolfe, Aizenman, Boettcher & Cain, 2016). Однако менее ясно, как меняется поведение при прекращении курения, когда цель состоит не в том, чтобы собрать большое количество очевидных целей, а в поиске редких и труднодоступных целей.

Хотя преждевременное прекращение поиска может привести к негативным последствиям для радиологии, факторы, определяющие, когда радиолог решает прекратить поиск, плохо изучены. Существующие модели интерпретации медицинских изображений сосредоточены на том, что можно считать конечной задачей клинициста по постановке точного диагноза: начальное восприятие (Drew et al., 2013; Нодин и Кундель, 1987; Свенссон, 1980). Важно отметить, что эти модели мало что делают для учета принятия решений, следующих за восприятием. Это контрастирует с рядом когнитивных моделей, таких как класс моделей дрейфа-диффузии, которые были специально разработаны для учета различий в том, сколько времени требуется наблюдателю для принятия решения (например, Ratcliff & McKoon, 2008). . Ни одна из текущих моделей восприятия медицинских изображений не учитывает, как врач в конечном итоге решает, когда прекратить обследование случая.Однако очевидно, что большинство истинно положительных результатов выявляются очень рано во время поиска (Berbaum et al., 1991; Christensen et al., 1981; Nodine, Mello-Thoms, Kundel, & Weinstein, 2002), и большая часть компьютерных томографов никогда не выполнялся поиск (например, Drew et al., 2013; Rubin et al., 2015). По мере продолжения поиска вероятность ложных срабатываний резко возрастает. Эта тема особенно важна в контексте объемных изображений, оценка которых обычно занимает гораздо больше времени, чем 2D-изображения.В этих обстоятельствах способность эффективно переходить от сканированных изображений здорового пациента может быть важным показателем опыта, который не учитывается существующими моделями. Например, на 2D-изображениях опытные радиологи, кажется, прекращают поиск, когда они все еще идентифицируют больше истинных положительных результатов, чем ложных, но новички продолжают, пока ложные положительные результаты не станут доминирующим ответом (Christensen et al., 1981; Nodine et al., 2002 ). Оценка динамики ошибок с помощью опыта в области объемных изображений — это совершенно неизведанная область и, вероятно, будет плодотворной областью для будущих исследований.Кроме того, в будущих исследованиях можно было бы попытаться применить метод моделирования диффузионного дрейфа, чтобы определить, как различные факторы, такие как общая рабочая нагрузка или опыт наблюдателя, влияют на порог выхода при поиске объемных изображений.

Как моторные и перцептивные процессы взаимодействуют при оценке объемных изображений?

В отличие от поиска по признакам, который является обычным в литературе по визуальному вниманию, поиск в реальном мире часто включает в себя навигацию через большие трехмерные пространства для объектов, которые могут быть скрыты другими объектами.При поиске целей в поле участники спонтанно выбирают систематический путь поиска (Riggs et al., 2017). Точно так же при поиске доказательств преступления диады участников проводят очень систематический поиск и часто дважды проверяют свою работу (Riggs et al., 2018). Однако другие обнаружили, что повторные посещения в реальном визуальном поиске редки, что объясняется дополнительными усилиями, необходимыми для повторения ваших шагов в локомотивных задачах (Gilchrist, North, & Hood, 2001; Smith et al., 2008). Вместе это исследование имеет глубокие последствия для поиска объемных изображений, который включает как моторные, так и перцепционные компоненты, когда наблюдатель прокручивает глубину. В последние годы растет интерес к тому, как моторные процессы влияют на визуальный поиск, когда целевые элементы должны быть обнаружены путем перемещения других элементов, что называется «поиском вручную». В некоторых случаях поиск с ручной поддержкой воспроизводил результаты из литературы по визуальному поиску (например, «эффект низкой распространенности», Solman, Hickey, & Smilek, 2014).В других случаях были выявлены новые источники ошибок. Например, Солман, Чейн и Смилек (2012) создали парадигму «распаковки», в которой наблюдатель может перемещать перекрывающиеся виртуальные элементы с помощью компьютерной мыши. Исследователи обнаружили, что целевые предметы часто подбирались и выбрасывались, не будучи распознанными, что предполагает, что восприятие и действие могут быть разделены при визуальном поиске. Другими словами, решение о действии («отменить выбранный элемент») может предшествовать решению для идентификации («выбранный элемент является моей целью»).Авторы предполагают, что натуралистический визуальный поиск задействует процесс перцептивного поиска, который контролирует, но не направляет моторный процесс «распаковки» (Solman, Wu, Cheyne, & Smilek, 2013).

В радиологии результаты могут означать, что двигательная система решает пройти через глубину до того, как аномалия может быть идентифицирована на текущем срезе. Хотя словесные инструкции по замедлению двигательных движений были неэффективными, принуждение участника к замедлению значительно уменьшало количество ошибок при распаковке (Solman et al., 2013). В настоящее время неизвестно, как скорость прокрутки объемного медицинского изображения по глубине связана с диагностической точностью и возникают ли эти ошибки «разделения» в радиологии. Представление компьютерных томографов с разной частотой кадров привело к неоднозначным результатам — от отсутствия разницы в точности (Bertram et al., 2013) до более низкой производительности на более высоких скоростях (Bertram et al., 2016). Скорость прокрутки также может дать представление об эффективности сигналов начала движения или развитии возможностей глобальной обработки в объемных изображениях.Если эксперты смогут извлекать релевантную информацию из изображений быстрее, чем новички, они могут быть менее уязвимы для потенциально негативных эффектов более быстрой прокрутки, таких как ошибки «развязки». При выполнении задачи по скринингу рака легких не было обнаружено различий в скорости между радиологами и наивными наблюдателями (Diaz, Schmidt, Verdun, & Bochud, 2015). В среднем узелки выявлялись со скоростью от 25 до 30 кадров в секунду (fps). Однако примечательно, что производительность в этой задаче была максимальной как для экспертов, так и для новичков, и не было никаких различий в производительности между группами.Следовательно, по-прежнему возможно, что различия в поведении прокрутки более важны, когда есть большая изменчивость в производительности. Бертрам и др. (2013) также не обнаружили никаких связанных с опытом различий в производительности, когда наблюдатели искали различные отклонения на компьютерной томографии брюшной полости, представленной в виде видео с фиксированной скоростью со скоростью 7, 14 или 28 кадров в секунду. Напротив, Bertram et al. (2016) наблюдали лучшую производительность при 5 кадрах в секунду, чем при 3 кадрах в секунду, и эксперты смогли лучше адаптироваться к возросшей скорости презентации при КТ брюшной полости.Однако оба этих исследования опирались на видео с фиксированной скоростью, а не позволяли наблюдателям контролировать свою скорость, что ограничивает экологическую ценность. Очевидно, что пока нет полной картины того, как скорость прокрутки влияет на производительность поиска объемных изображений. В будущих исследованиях может оказаться полезным проанализировать распределение ошибок в зависимости от естественной скорости прокрутки. Кроме того, важно учитывать свойства самой аномалии. Скорость прокрутки может быть важным предиктором обнаружения отклонений, когда отклонения вызывают сигналы начала движения или для более мелких отклонений, которые видны на меньшем количестве слоев глубины.Напротив, менее вероятно, что скорость прокрутки предсказывает возможность обнаружения диффузных или крупных аномалий, которые видны на многих срезах.

Определение объемных дисплеев — Глоссарий по информационным технологиям Gartner

Название компании Страна UNITED STATESUNITED KINGDOMCANADAAUSTRALIAINDIA —— AfghanistanÅland IslandsAlbaniaAlgeriaAmerican SamoaAndorraAngolaAnguillaAntarcticaAntigua и BarbudaArgentinaArmeniaArubaAustriaAzerbaijanBahamasBahrainBangladeshBarbadosBelarusBelgiumBelizeBeninBermudaBhutanBoliviaBonaire, Синт-Эстатиус и SabaBosnia и HerzegovinaBotswanaBouvet IslandBrazilBritish Индийский океан TerritoryBrunei DarussalamBulgariaBurkina FasoBurundiCambodiaCameroonCape VerdeCayman IslandsCentral африканских RepublicChadChileChinaChristmas IslandCocos (Килинг) IslandsColombiaComorosCongoCongo, Демократическая Республика theCook IslandsCosta RicaCôte D’IvoireCroatiaCubaCuraçaoCuraçaoCyprusCzech RepublicDenmarkDjiboutiDominicaDominican RepublicEcuadorEgyptEl SalvadorEquatorial ГвинеяЭритреяЭстонияЭфиопияФолклендские острова (Мальвинские острова) Фарерские островаФиджиФинляндияФранцияФранцузская ГвианаФранцузская ПолинезияФранцузские Южные территорииГабонГамбияГрузияГерманияГанаГибралтарствоГрецияГренландияГренадаГваделупа-ГуамГватемалаГернаГерна BissauGuyanaHaitiHeard / McDonald Isls.HondurasHong KongHungaryIcelandIndonesiaIran, Исламская Республика ofIraqIrelandIsle из ManIsraelItalyJamaicaJapanJerseyJordanKazakhstanKenyaKiribatiKorea, Корейская Народно-Демократическая Республика ofKorea, Республика ofKuwaitKyrgyzstanLao Народная Демократическая RepublicLatviaLebanonLesothoLiberiaLibyaLiechtensteinLithuaniaLuxembourgMacaoMacedonia, бывшая югославская Республика ofMadagascarMalawiMalaysiaMaldivesMaliMaltaMarshall IslandsMartiniqueMauritaniaMauritiusMayotteMexicoMicronesia, Федеративные Штаты ofMoldova, Республика ofMonacoMongoliaMontenegroMontserratMoroccoMozambiqueMyanmarNamibiaNauruNepalNetherlandsNetherlands AntillesNew CaledoniaNew ZealandNicaraguaNigerNigeriaNiueNorfolk IslandNorthern Mariana IslandsNorwayOmanPakistanPalauPalestine, Государственный ofPanamaPapua Новый GuineaParaguayPeruPhilippinesPitcairnPolandPortugalPuerto RicoQatarRéunionRomaniaRussian FederationRwandaSaint BarthélemySaint Елены, Вознесения и Тристан-да-Кунья, Сент-Китс и Невис, Сент-Люсия, Сент-Мартен (Французская часть), Сен-Пьер и MiquelonSaint Винсент и GrenadinesSamoaSan MarinoSao Томе и PrincipeSaudi ArabiaSenegalSerbiaSerbia и MontenegroSeychellesSierra LeoneSingaporeSint Маартен (Голландская часть) SlovakiaSloveniaSolomon IslandsSomaliaSouth AfricaSouth Джорджия и Южные Сандвичевы IslandsSouth SudanSpainSri LankaSudanSurinameSvalbard и Ян MayenSwazilandSwedenSwitzerlandSyrian Arab RepublicTaiwanTajikistanTanzania, Объединенная Республика ofThailandTimor-LesteTogoTokelauTongaTrinidad и TobagoTunisiaTurkeyTurkmenistanTurks и Кайкос IslandsTuvaluUgandaUkraineUnited Арабские EmiratesUnited Штаты Экваторияльная Острова УругвайУзбекистан ВануатуВатикан Венесуэла, Боливарианская Республика Вьетнам Виргинские острова, Британские Виргинские острова, СШАС.Уоллис и Футуна, Западная Сахара, Йемен, Замбия, Зимбабве.

Объемное видео намного больше, чем VR

Объемное видео — это процесс захвата движущихся изображений реального мира, людей и объектов, которые впоследствии можно рассматривать под любым углом в любой момент времени (так называемые шесть степеней свободы) Возможность перемещения влево-вправо, вверх-вниз и вперед-назад (в дополнение к возможности вращаться вокруг осей x, y и… Более).

Согласно недавнему отчету об исследовании рынка, ожидается, что рынок объемного видео вырастет с 578,3 миллиона долларов в 2018 году до 2,78 миллиарда долларов к 2023 году.

Большая часть внимания средств массовой информации к объемным камерам, таким как Manifold, была сосредоточена на их потенциале по созданию более захватывающего и привлекательного контента виртуальной реальности. В сочетании с системами позиционного отслеживания в большинстве гарнитур виртуальной реальности, таких как Oculus Rift и Quest от Facebook, объемное видео позволяет зрителям самостоятельно перемещаться по новым мирам.

По сути, зритель становится режиссером, выбирая каждый «кадр». Но этот же потенциал также даст традиционным кинематографистам новые возможности, ранее недоступные для них.

«Было бы глупо с моей стороны говорить, что (Manifold) не связан с виртуальной реальностью», — сказал директор по фотографии Эндрю Шулькинд, модерировавший дискуссию о новой камере на Oculus Connect 5. «Совершенно верно, но это примерно так. больше чем это.»

Менталитет «большего» больше всего привлекал Red Digital Cinema, сотрудника Facebook по созданию новой системы камер.

Вместо приложений объемного видео для 360-градусного видео и VR, технический директор компании Red Uday Mathur сказал, что их больше всего впечатлил потенциал системы для захвата VFX, захвата пластин и виртуального зеленого экрана. можно удалить и заменить в посте … Подробнее. Фактически, они видят это в качестве основных приложений камеры , пока экосистема VR не будет развиваться дальше, а не наоборот.

«В настоящее время мы видим этот пример вместе с традиционной камерой, чтобы сделать индивидуальный снимок; дубль = каждый раз, когда камера запускается и останавливается.совершенно другой вид сцены, который можно массировать и откорректировать по почте », — сказал Матур. «Это берет на себя обязательство по захвату и как бы снижает нагрузку на то, что должно происходить на съемочной площадке. Это дает творческую гибкость команде пост-продакшн ».

По словам Матхура, возможность использования камеры для захвата иммерсивного контента вторична по сравнению с ее потенциалом для традиционных кинопроектов. «Для традиционного кинематографиста это совершенно новый тип инструмента, который он может использовать, а также дает возможность получить новый опыт.”

Объемное видео захватывает сцену с нескольких точек обзора, а затем эта информация используется для создания карты глубины. Цифровые данные, представляющие расстояние до объектов в сцене от камеры. пространства. Например, каждый манифольд может захватывать каждое направление от системы, по крайней мере, с четырьмя датчиками и семью датчиками в большинстве мест.

Manifold оснащен 16 датчиками RED Helium 8K, каждый из которых соединен со специальным 180-градусным 8-миллиметровым объективом «рыбий глаз» Schneider — чрезвычайно широкоугольным объективом с искажением изображения по краям кадра.объектив с диафрагмой F / 4.0.

Как и большинство других камер с обзором на 360 градусов, Manifold может сшивать эти изображения вместе для создания трехмерного видео с охватом 360 градусов. Но эти несколько ракурсов камеры можно использовать для создания карты глубины. Цифровые данные, представляющие расстояние до объектов в сцене от камеры. — для этого Facebook стал партнером Otoy — и бесконечных перспектив на сцене.

После захвата объемного видео его потенциально можно использовать далеко за пределами своей первоначальной цели: для создания дополнительных ресурсов для предполагаемого проекта, а также в качестве виртуального набора для неограниченного числа других проектов.

«Конечная мечта — поставить две такие камеры где-нибудь в джунглях, сделать индивидуальный снимок; дубль = каждый раз, когда камера запускается и останавливается. несколько кадров, потом все это снова осветят и добавят актеров », — сказала Кейт Вурцбахер, руководитель камеры Here Be Dragons. «Я думаю, это величайшая мечта. Мы в самом начале этого пути ».

Для каждой проблемы, которую решает объемная видеокамера, такая как Manifold, она создает новые.Как вы понимаете, установка положения камеры для данной сцены. Вы можете снимать более одного кадра из одной установки (общий план и крупный план). как это означало бы захват и хранение безумного количества данных.

Хотя один кабель SMPTE 304M Manifold (который питает и управляет камерой, а также передает данные в стойку для хранения, расположенную на расстоянии до 100 метров) упрощает обработку данных, чем использование нескольких шнуров, нескольких SD-карт и т. Д., Эта установка. данная сцена.Вы можете снимать более одного кадра из одной установки (общий план и крупный план). отнюдь не прост и легкодоступен.

Facebook / Red: грандиозный план решения этой проблемы зависит только от времени. «Со временем это хранилище станет дешевле, — сказал Матур. И поменьше. Но на данный момент ограничения на объем хранилища ограничивают возможности использования камеры вне студии — на мой взгляд, именно в тех местах, где камера с такими возможностями могла бы сиять.

Volumetric video также поставит новые задачи рабочего процесса.Facebook вступил в партнерские отношения с компаниями-разработчиками программного обеспечения для постпроизводства, включая Adobe, CaraVR, Nuke, Foundry, Otoy и другими, чтобы создать рабочий процесс для видео такого рода. Но дело не только в инструментах, но также в людях и процессе.

Например, раньше, чем обычно, потребуется более тесное сотрудничество между группами подготовки, подготовки и производства. И производственные группы, вероятно, будут более активно вовлечены в игру позже, чтобы гарантировать, что команды постпроизводства, оснащенные большим контролем, чем когда-либо прежде, оставались верными первоначальному видению.

«Некоторые должности в съемочной группе могут быть даже упразднены», — сказал технический директор Facebook Брайан Кабрал. Но будут созданы новые должности. Например, поскольку ключевым моментом является идеальная непрерывность каждого объекта, Кабрал считает, что однажды будет работа, на которой член экипажа будет следить за тем, чтобы никто ничего не двигал в сцене.

Кабрал понимает, что до этих приложений еще далеко. Но, по его словам, Manifold — это кульминация последних пяти лет усилий Facebook по созданию иммерсивного видео, а также отправная точка на следующие пять лет.

Он сравнивает Manifold со своей работой в Nvidia, разрабатывая первый GPU GP (универсальные вычисления на графических процессорах). «Теперь (GPU GP) — это обязательное условие», — сказал он. «Мы собираемся увидеть, как люди делают интересные снимки — не только для виртуальной реальности… И это будет просто обязательным условием».

«Конечно, вы принесете один или два таких на съемочную площадку», — продолжил Кабрал. «Мы просто снимем все, и мы сделаем ресурсы VR, мы будем создавать ресурсы AR, мы сделаем из них 2D-ресурсы, но давайте просто снимем это, потому что все на съемочной площадке дорого, и мы разберемся с этим позже. .Это высвободит массу творчества ».

Конечно, Facebook — не единственная компания, инвестирующая в объемное видео. И такая система, как Manifold, — не единственный способ сделать это.

Например, в январе этого года Intel открыла студию объемного видео в Лос-Анджелесе.

Его подход к объемному видео исходит извне. Вместо единой системы, снимающей сцену изнутри, как Manifold, Intel Studios окружает зону захвата площадью 10 000 квадратных футов десятками и десятками камер.

Технология уже используется на нескольких футбольных стадионах по всей стране, чтобы снимать пьесы со всех сторон и воссоздавать 360-градусные основные моменты и видео с точки зрения игрока, но Intel также сотрудничает с Paramount, чтобы исследовать возможности использования студии для кинотеатров.

Тем не менее, реализация 38 специально размещенных 5K-камер, подключенных к серверам, обрабатывающих до 1 ТБ данных каждые 15 секунд (как в случае с этими стадионами), все равно будет более непозволительной задачей, чем объемная камера наизнанку Facebook (или любая объемная камера наизнанку), независимо от того, сколько в конечном итоге может стоить Manifold.

Кроме того, объемная съемка снаружи может быть идеальной для высококачественной съемки людей и предметов в ограниченном пространстве в строго контролируемой среде, но объемная съемка наизнанку может быть оптимальной — и гибкой — для съемки пространств и мест за пределами студии.

Google также приложил руку к объемной видеоигре. Когда в начале этого года производитель фотоаппаратов Lytro закрыл свои двери, Google уволил множество сотрудников компании.

Камеры светового поля записывают свет со всех сторон через каждую точку и пространство и используют эту информацию для построения трехмерной карты пространства.Например, система камер Immerge от Lytro предлагала зрителям около одного метра свободного движения, а также более реалистичные текстуры и освещение.

Хотя технология камеры Lytro может также позволить создателям изменять глубину резкости, точку фокусировки, выдержку и диафрагму при записи и устранять необходимость использования зеленого экрана. удалено и заменено в посте … Больше о визуальных эффектах компания отточила в 2015 году.

Facebook и Red с самого начала дали понять, что Manifold — это не просто камера виртуальной реальности.

«Прелесть (Manifold) в том, что это универсальный инструмент», — сказал Шулькинд на OC5. Он предполагает использовать камеру для создания материалов не только для гарнитур VR, но и контента, специфичного для просмотра, независимо от того, смотрит ли аудитория на смартфоне или телевизоре, из самолета или в кинотеатре.

«(The Manifold) — это не о VR или AR или даже о будущем иммерсивных развлечений, а о написании кода для будущего контента и о том, как мы будем этим заниматься», — сказал Шулькинд.«Я вижу водопад актуальных результатов, которые заставляют меня чувствовать, что я не упускаю кадр, каждый кадр по-своему». Все снято одной камерой.

Верите вы в это или нет, но это захватывающее видение.

Однако дата запуска и цена Manifold еще не объявлены. Камера в ее нынешнем виде имеет множество ограничений. И такая встряска в основных принципах кинематографии займет отдельный экземпляр кадра; дубль = каждый раз, когда камера запускается и останавливается.возрастов, чтобы разобраться творчески.

Поверьте, я понимаю, что объемное видео очень неопределенно. В чем я уверен, так это в том, что будет множество приложений для объемного видео — как в виртуальной реальности, так и за ее пределами.

Эта статья была первоначально опубликована Redshark News и перепечатана здесь с разрешения.

создает трехмерные изображения, парящие в воздухе

Трехмерные записи, подобные тем, которые несет R2D2 в фильме «Звездные войны», ближе к реальности, чем вы думаете.

Профессор Университета Бригама Янга (BYU) и эксперт по голографии Дэниел Смолли хотел воссоздать сцену с тех пор, как мы впервые ее увидели. И это просто показывает, что мечты сбываются, поскольку недавно он опубликовал статью, в которой подробно описывается метод, который он разработал для этого.

Это те дроиды, которых вы ищете

«Мы называем это в просторечии проектом принцессы Леи», — сказал Смолли.«Наша группа ставит перед собой задачу воплотить в реальность трехмерные изображения научной фантастики. Мы создали дисплей, который может это сделать ».

Однако прежде всего профессор Смолли отмечает, что изображение принцессы Леи, которую мы знаем и любим из фильма, не то, что люди думают, это не голограмма. Такое трехмерное изображение, которое парит в воздухе и может просматриваться под любым углом, называется объемным изображением.

Разница между ними невелика, но значительна. Голограмма рассеивает свет только на (2D) поверхности, и если вы не смотрите на эту поверхность под прямым углом, вы не увидите исходное (3D) изображение.С другой стороны, объемный дисплей имеет небольшие рассеивающие поверхности, разбросанные по трехмерному пространству — то же пространство, занятое изображением, — поэтому независимо от того, как вы на него смотрите, вы также смотрите и на рассеяния. Короче говоря, это означает, что объемное изображение можно увидеть под любым углом, и оно все равно будет трехмерным.

Опираясь на фотофоретический оптический захват, Смолли и его команда разработали платформу для измерения объема в свободном пространстве, которая позволяет получать полноцветные объемные аэрофотоснимки с 10-микронными точками изображения за счет постоянного зрения.Поскольку это, вероятно, действительно сбивает с толку, вот команда, объясняющая, как работает их устройство, без всех технических терминов:

«Мы используем лазерный луч для улавливания частицы, а затем мы можем направить лазерный луч вокруг, чтобы переместить частицу и создать изображение», — сказал соавтор Эрих Найгаард.

«Этот дисплей похож на 3D-принтер для света», — сказал Смолли. «Вы на самом деле печатаете космический объект с помощью этих маленьких частиц».

Чтобы продемонстрировать свою работу, команда напечатала на 3D-принтере бабочку, призму, логотип BYU, кольца, обвивающие руку, и человека в лабораторном халате, присевшего в позе, похожей на положение принцессы Леи, когда она начинает свою работу. прогнозируемое сообщение.Хотя часть предыдущей работы в BYU была связана с объемными изображениями, команда Смолли первой успешно объединила цветные изображения и оптический треппинг.

Статья «Объемная демонстрация фотофоретической ловушки» опубликована в журнале Nature .

BYU позволяет создавать трехмерные изображения, которые «летают в воздухе»

Авторы видео: продюсер Джули Уокер, оператор Брайан Уилкокс, редактор Ханна Хансен

В оригинальном фильме «Звездные войны» R2D2 проецирует изображение принцессы Леи, терпящей бедствие.Культовая сцена включает в себя фразу, которая все еще известна 40 лет спустя: «Помоги мне, Оби Ван Кеноби, ты моя единственная надежда».

BYU Профессор электротехники и компьютерной инженерии и эксперт по голографии Дэниел Смолли давно поставил перед собой цель создать трехмерную проекцию такого же типа. В статье, опубликованной на этой неделе в журнале Nature , Смолли подробно описывает метод, который он разработал для этого.

«Мы называем это в просторечии проектом принцессы Леи», — сказал Смолли. «Наша группа ставит перед собой задачу воплотить в реальность трехмерные изображения научной фантастики.Мы создали дисплей, который может это сделать ».

Прежде всего, прежде всего, — говорит Смолли. Изображение принцессы Леи не то, что люди думают: это не голограмма. Трехмерное изображение, которое парит в воздухе, которое вы можете обойти и рассмотреть со всех сторон, на самом деле называется объемным изображением. Примеры объемных изображений включают трехмерные дисплеи, с которыми взаимодействует Тони Старк в «Железном человеке» или массивный стол для проецирования изображений в «Аватаре».

Автор фотографии Нейт Эдвардс / BYU Photo

Автор фотографии Нейт Эдвардс / BYU Photo

Смолли и его соавторы разработали платформу для объемного отображения в свободном пространстве, основанную на фотофоретическом оптическом захвате, которая позволяет получать полноцветные объемные аэрофотоснимки с 10-микронными точками изображения за счет постоянного зрения.

Метод, описанный в Nature, «использует силы, передаваемые набором почти невидимых лазерных лучей, чтобы улавливать единственную частицу — растительное волокно, называемое целлюлозой, — и равномерно нагревать ее. Это позволяет исследователям толкать и тянуть целлюлозу. Второй набор лазеров проецирует видимый свет (красный, зеленый и синий) на частицу, освещая ее, когда она движется в пространстве. Люди не могут различать изображения со скоростью выше 10 в секунду, поэтому, если частица перемещается достаточно быстро, ее траектория выглядит сплошной линией — как бенгальский огонь в темноте.”

«Проще говоря, мы используем лазерный луч, чтобы улавливать частицу, а затем мы можем направить лазерный луч вокруг, чтобы переместить частицу и создать изображение», — сказал соавтор старшекурсника Эрих Найгаард.

Смолли сказал, что самый простой способ понять, что они делают, — это подумать об изображениях, которые они создают, как об объектах, напечатанных на 3D-принтере.

«Этот дисплей похож на 3D-принтер для света», — сказал Смолли. «Вы на самом деле печатаете космический объект с помощью этих маленьких частиц.”

К настоящему времени Смолли и его студенты-исследователи напечатали с помощью 3D-света несколько крошечных изображений: бабочка, призма, растягивающийся логотип Y BYU, кольца, которые обвивают руку, и человек в лабораторном халате, присевший в положении, аналогичном Принцесса Лея начинает свое предполагаемое сообщение.

В то время как предыдущие исследователи за пределами BYU выполняли соответствующую работу по созданию объемных изображений, команда Смолли является первой, кто эффективно использует оптический треппинг и цвет. Их метод улавливания частиц и освещения их разноцветными лазерами, которые вы видите, является новым.

«Мы предоставляем метод создания объемного изображения, который может создавать изображения, которые, как мы думаем, у нас будут в будущем», — сказал Смолли.

Чем объемное изображение отличается от голограммы?

Голографический дисплей рассеивает свет только на двумерной поверхности. Если вы не смотрите на эту поверхность, вы не увидите трехмерного изображения, потому что вы должны смотреть на рассеивающую поверхность, чтобы увидеть изображение. Объемный дисплей имеет небольшие рассеивающие поверхности, разбросанные по трехмерному пространству — такое же пространство, которое занимает трехмерное изображение, — поэтому, если вы смотрите на изображение, вы также смотрите на рассеянное изображение.По этой причине объемное изображение можно увидеть под любым углом.

Чтобы увидеть полное исследование природы, щелкните здесь: https://www.nature.com/articles/nature25176

1 из 8

0006Pokemon_preview.jpeg

Нейт Эдвардс / BYU Photo

2 из 8

5266Earth_preview.jpeg

Лаборатория Дэниела Смолли

3 из 8

1712-11 0009.jpg

Нейт Эдвардс / BYU Photo

4 из 8

5138Butterflies_preview.jpeg

Нейт Эдвардс / BYU Photo

5 из 8

1712Lab_preview.jpeg

Нейт Эдвардс / BYU Photo

6 из 8

1712-11 0021.jpg

Нейт Эдвардс / BYU Photo

7 из 8

1712-11 0004.jpg

Нейт Эдвардс / BYU Photo

8 из 8

Снимок экрана 2018-01-24 в 8.38.17 AM.png

Нейт Эдвардс / BYU Photo

1 из 8

0006Pokemon_preview.jpeg

Нейт Эдвардс / BYU Photo

2 из 8

5266Earth_preview.jpeg

Лаборатория Дэниела Смолли

3 из 8

1712-11 0009.jpg

Нейт Эдвардс / BYU Photo

4 из 8

5138Butterflies_preview.jpeg

Нейт Эдвардс / BYU Photo

5 из 8

1712Lab_preview.jpeg

Нейт Эдвардс / BYU Photo

6 из 8

1712-11 0021.jpg

Нейт Эдвардс / BYU Photo

7 из 8

1712-11 0004.jpg

Нейт Эдвардс / BYU Photo

8 из 8

Снимок экрана 2018-01-24 в 8.38.17 AM.png

Нейт Эдвардс / BYU Photo

Объемная фотограмметрия — громкие слова, большее влияние на виртуальную реальность — TechCrunch

Бен Блох — серийный предприниматель из Лос-Анджелеса.Он наиболее известен своим вниманием к новым бизнес-возможностям в IBM, после чего он внес свой вклад в руководство тремя выходами стартапов, в том числе компанией Econation, специализирующейся на чистых технологиях, которую он основал в 2009 году и продал в 2012 году.

• Налоговые роботы и универсальный базовый доход

Виртуальная реальность: К этому моменту у большинства людей есть хотя бы элементарное понимание того, что означает этот термин. Когда-то популярные и разработанные для нишевых технических специалистов и игровой аудитории, бренды быстро осознали безграничный потенциал виртуальной реальности, и в результате все группы интересов, от дизайна интерьера до макияжа и одежды, прыгнули на подножку иммерсивного контента.

Для потребителей виртуальная реальность обычно означает надевание головного дисплея (HMD), выход в новый мир и получение удовольствия от этого опыта. Обволакивающая природа виртуальной реальности позволяет людям исследовать окружающую среду на 360 градусов, но для большинства, как создаются эти захватывающие миры, остается загадкой.

Хотя VR все еще находится в зачаточном состоянии, появились «традиционные» методы захвата и преобразования отснятого материала. Как правило, для съемки 360-градусного VR-контента оператор использует несколько камер, установленных в сферическую форму, чтобы запечатлеть сцену.Согласно записи блога Алисии Миллейн на The Primacy: «Каждая камера устанавливается под определенным углом, поэтому поле обзора камеры будет перекрывать части поля зрения окружающих камер». Благодаря перекрытию редакторы должны иметь возможность получать более цельный видеоматериал без каких-либо пропусков. В качестве альтернативы можно приобрести профессиональные камеры с обзором на 360 градусов, но они более или менее выглядят и работают так же, как устройства с ручным управлением. По окончании съемок редакторы сшивают отснятый материал, создавая единый непрерывный опыт.

Помимо формирования камеры, размещение камеры также играет важную роль в конечном результате определенного фрагмента иммерсивного контента. В зависимости от того, что создатель контента хочет видеть потребителя, размещение камеры может меняться. Потребители должны быть участниками или зрителями? Сцена установлена ​​низко или высоко? Стоит ли устанавливать оснастку в середине действия или в стороне? Хотя творческое направление в конечном итоге будет определять размещение, важно отметить, что даже с несколькими установками, размещенными в наборе, этот метод создает более статичный результат.

Введите объемную фотограмметрию. Трудно, конечно, но этот метод создания виртуальных сред, возможно, может стать ключом к будущему VR. В отличие от метода, упомянутого выше, в объемной виртуальной реальности нет дублей или снимков, которые позже редактируются при пост-обработке. Это обеспечивает гораздо более плавное восприятие, поскольку потребитель кадрирует сцену и выбирает свою собственную точку зрения. Используя метод объемного захвата, кадры реального человека записываются с различных точек обзора, после чего программное обеспечение анализирует, сжимает и воссоздает все точки обзора полностью объемного трехмерного человека.

Объясняя объемный VR, определяющей характеристикой фотограмметрии является принцип триангуляции. Как объясняется в сообщении блога о Viar360, триангуляция включает в себя фотографирование как минимум из двух мест для формирования прямой видимости. «Затем эти линии обзора математически пересекаются, чтобы получить трехмерные координаты точек интереса». Этот метод широко используется в видеоиграх. Показательный пример — «Звездные войны: Battlefront».

Если у виртуальной реальности есть шанс полностью раскрыть свой потенциал, потребители должны чувствовать, что они на самом деле находятся там, где они не могут быть физически. Джейкоб Ку, VRt Ventures

Как объяснил ведущий художник по окружению игры Эндрю Гамильтон, «Фотограмметрия — это, по сути, метод обработки неподвижных изображений для создания трехмерной сетки высокого разрешения. Есть несколько подходов к этому, но все они включают в себя съемку объекта в реальной жизни и прогон через программное обеспечение для фотограмметрии ». После захвата изображений программное обеспечение создает контрольные точки, более или менее соединяющие точки, в результате чего получается сложная структура, которую можно использовать для создания среды, готовой к играм с более низким разрешением.

От 8-битной графики до все более реалистичных интерактивных миров — передовые технологии всегда находили место в видеоиграх — но как насчет других отраслей? Например, мир развлечений, который служит транспортной средой, недавно обратил внимание на то, как использование передовых методов захвата может улучшить впечатления зрителя.

8i, компания-разработчик программного обеспечения виртуальной реальности, специализирующаяся на объемном захвате человека, продемонстрировала свой документальный фильм «# 100humans» на кинофестивале «Сандэнс» в 2016 году, вызвав ураган интереса и помогая пролить свет на другие проекты, находящиеся на переднем крае объемного трехмерного изображения. захватывать.

«Гигант», короткометражный VR-фильм, действие которого происходит в зоне активных боевых действий и снятый с помощью DepthKit, был показан на фестивале только в этом году, подтвердив интерес к медиуму и укрепив его стойкость.

Музыканты также обратили внимание на эффект объемного захвата, о чем свидетельствует видео Майи Пейн на песню Breathe Again. Видео, созданное новозеландской компанией realityvirtual.co, может похвастаться первой в мире превосходной степенью и предлагает зрителям настоящую кинематографию виртуальной реальности или, что более известно, как 6 степеней движения.

В мире искусства VRt Ventures, компания из Лос-Анджелеса, архивирующая произведения искусства в настоящей виртуальной реальности, преодолела этот пробел. MOCA: Керри Джеймс Маршалл исследует ретроспективную выставку знаменитого художника Mastry, созданную с использованием объемной фотограмметрии, чтобы запечатлеть воздух между стенами на Гранд-авеню MOCA, чтобы зрители могли иметь правильную перспективу и размеры.

Иммерсивный опыт с использованием объемной фотограмметрии может передать гораздо более аутентичную и реалистичную среду для конечного пользователя.Пер, основатель VRt Ventures, Джейкоб Ку: «Если у виртуальной реальности есть шанс полностью раскрыть свой потенциал, то потребители должны чувствовать, что они на самом деле находятся там, где они не могут быть физически.