Как нарисовать позы карандашом поэтапно
Шаг 1. Все знают, как нарисовать фигуру из палочек . Правда, это также стартовая ступень для рисования поз. Это простой инструмент, чтобы использовать, когда вы пытаетесь создать позу для вашей фотографии, если знать, как манипулировать конечностей вашу фигурку, вы сможете сделать некоторые интересные позы.
Шаг 2. Для того, чтобы вы могли понять, как представляют свою фигурку, чтобы помочь Вам с нанесением позы, вы должны понять, как ваши различные суставы работают.У меня есть три вида, что мне нужно, чтобы вы знали. Есть 1, шар и гнездо присоединиться. Это Тип соединения, в твоих плеч и бедер. Это позволяет конечности двигаться более свободно от базы. 2-это шарнир, как в колени и локти. Они только двигаться открывать и закрывать как петли на двери. Тогда у нас есть 3, седловидный сустав. Это Тип соединения у тебя в запястья, лодыжки, пальцы ног и пальцы рук. с седловины суставах, костях сидят на головах друг у друга и можем двигаться немного свободнее, чем шарнирах но не почти столь же свободно, как и шарового шарнира.
Шаг 3. Теперь, когда вы знаете, как суставы работают, я покажу вам, как сделать позы выглядят немного более динамичным, но, изменив угол, что ты смотришь на на. Если ты смотришь чуть со стороны и использовать perspecitve на вашего персонажа, вы можете выявить характер героя немного больше и даже выражать вещи с тела язык немного лучше, чем если бы вы были глядя прямо на на кого-то. В целях incorperate это на вашу фигурку, мы будем использовать ‘я’ рамка где вершине мне будет линии для плеч и нижней части с быть линия для бедер. Теперь если ты смотришь на кого-то со стороны вы не сможете увидеть многое линия на всех. Если ты смотришь на них только чуть сбоку, в стороне я ближе к вам будет короче, и на другой стороне вы увидите больше его. Когда ты смотришь прямо с фронта, с обеих сторон будет еще.
Шаг 4. Теперь, когда мы добрались мои маленькие советы из пути, я поведу тебя через позу. Поскольку это так холодно сейчас, мы сделаем приятный теплый снимок, девушка на пляже с внутренней трубкой.
Начнем с рамкой для тела, используя ‘я’ рамка для туловища. Нам придется ее слегка в сторону, так что вы можете увидеть, что с одной стороны я не так долго как другие. Мы также будете делать кросс линий для лица макета тоже.
Шаг 5. Далее мы будем рисовать лицо, форма лица, шеи и плеч. Обратите внимание, как на одно плечо торчит, где, как и другим похоже, ты почти не глядя на него прямо с боку. Вот как вы примените точки зрения на позу вашего персонажа, изменяя угол наклона и расстояние, которое они имеют от того, где вы ищете.
Шаг 6. Сейчас мы будем рисовать до конца ее туловища, руки и мы дадим ей что-нибудь из одежды тоже. Оружие будет перекрытием потому что, еще раз, больше вперед, чем другие и ближе к зрителю.
Шаг 7. Далее мы дадим ей симпатичную прическу сделают.
Шаг 8. Затем мы добавим детали линий для волос, а также немного заколка для аксессуаров.
Шаг 9. Наконец, мы будем рисовать его в трубку и ее ноги.
Мы также будем смотреть на пробки несколько сбоку, так что мы должны убедиться, что это не выглядит как мы смотрим на них спереди, так что мы поместим его в качестве угла и сделать с противоположной стороны торчат дальше и также несколько короче, так как он находится дальше.
Шаг 10. И там вы имеете его. Милый маленький бикини девушка с милой позе и внутренней трубкой. Надеюсь, вам понравилось в уроке, и я не могу дождаться, чтобы увидеть как твоя выходит!
Позы человека рисунок (49 фото) » Рисунки для срисовки и не только
Позы для рисования
СкачатьАнатомия референс позы
СкачатьФигуры людей в разных позах
СкачатьАнатомия референс позы
СкачатьФигруы человека АВ разных позах
СкачатьРеференс Кейт Фокс
СкачатьСтоячие позы для рисования
СкачатьРазличные позы для рисования
СкачатьПозы для рисования
СкачатьПозы человека
СкачатьТело человека в полный рост референс
СкачатьРеференс человека в полный рост аниме
СкачатьПозы человека
СкачатьРеференсы поз Геншин
СкачатьЧеловек в движении референс
СкачатьНесложные позы для рисования
СкачатьПозы человека
СкачатьРакурсы тела для рисования
СкачатьРеференсы женской фигуры
СкачатьПозы для рисования
СкачатьПозы для рисования
СкачатьИнтересные позы для рисования
СкачатьРеференс Мечников
СкачатьПозы для рисования женские
СкачатьЛюди в разных позах для рисования
СкачатьРеференсы для рисования
СкачатьФигура человека в движении
СкачатьЛюди в разных позах для набросков
СкачатьПозы для рисования
СкачатьДинамичные позы для художников
СкачатьПозы для рисования
СкачатьСидячие позы
СкачатьЧеловек сидит по турецки референс
СкачатьПозы для рисования
СкачатьЧеловек референс позы
СкачатьСтоячие позы для рисования
СкачатьТуториал по рисованию поз человека
СкачатьПозы для рисования
СкачатьАниме референс тело девушки для рисования
СкачатьЧеловек в полуобороте референс
СкачатьПоза падения
СкачатьПозы для рисования Боевая стойка
СкачатьНаброски фигуры человека в движении
СкачатьФигура человека для рисования
СкачатьФигура человека в разных ракурсах
СкачатьЧеловек сзади референс
СкачатьДинамичные позы в перспективе
СкачатьНабросок сидящего человека
СкачатьПодробное руководство по оценке позы человека
Оценка позы человека — это задача компьютерного зрения, которая представляет ориентацию человека в графическом формате.
Этот метод широко применяется для прогнозирования частей тела человека или положения суставов. Это одна из самых захватывающих областей исследований в области компьютерного зрения, которая получила большое распространение благодаря обилию приложений, которые могут извлечь выгоду из такой технологии.
Сегодняшняя статья прольет свет на оценку позы человека и на то, как она работает. Кроме того, я постараюсь рассказать о некоторых лучших проектах по оценке поз с открытым исходным кодом на Github, а также о некоторых современных моделях, методах и типах оценки поз, которые доказывают огромные достижения в этой области.
Просматривая это подробное руководство, вы встретите следующие темы:
- Что такое оценка позы человека?
- Важность оценки позы человека
- Разница между оценкой позы человека в 2D и 3D
- Типы моделей оценки позы человека
- Снизу вверх VS. Нисходящие методы оценки позы
- Как работает оценка позы человека?
- Простой код оценки позы человека
- приложений оценки позы человека
- Заключительные слова
- Об авторе
- Ссылки
Что такое оценка позы человека?
https://www.
analyticsvidhya.com/blog/2021/10/human-pose-estimation-using-machine-learning-in-python/
analyticsvidhya.com/blog/2021/10/human-pose-estimation-using-machine-learning-in-python/ Human Pose Estimation идентифицирует и классифицирует позы частей человеческого тела и суставов на изображениях или видео. Как правило, метод, основанный на моделях, используется для представления и вывода о позах человеческого тела в двухмерном и трехмерном пространстве.
По сути, это способ зафиксировать набор координат путем определения суставов человеческого тела, таких как запястье, плечо, колени, глаза, уши, лодыжки и руки, что является ключевой точкой на изображениях и видео, которые могут описывать позу человека. человек.
Затем, когда изображение или видео передается модели оценки позы в качестве входных данных, она идентифицирует координаты этих обнаруженных частей тела и суставов в качестве выходных данных, а также показатель достоверности, показывающий точность оценок.
Важность оценки позы человека
Обнаружение людей уже давно является основным предметом обсуждения различных приложений в традиционном обнаружении объектов.
Благодаря последним разработкам в области алгоритмов машинного обучения компьютеры теперь могут понимать язык человеческого тела, выполняя определение и отслеживание поз. Точность этих обнаружений и требования к оборудованию для их запуска теперь достигли точки, когда они стали коммерчески жизнеспособными.
Кроме того, рост технологии также сильно изменился в условиях пандемии коронавируса, когда высокоэффективное обнаружение и отслеживание поз в реальном времени привнесет некоторые из самых влиятельных тенденций в компьютерное зрение. Например, его можно использовать для социального дистанцирования, комбинируя оценку позы человека и эвристику проецирования расстояния. Это помогает людям сохранять физическую дистанцию друг от друга в людном месте.
Оценка позы человека окажет значительное влияние на различные отрасли, включая безопасность, бизнес-аналитику, здоровье и безопасность, а также развлечения. Одной из таких областей, где эта техника уже доказала свое существование, является автономное вождение.
Разница между оценкой позы человека в 2D и 3D
https://openaccess.thecvf.com/content_cvpr_2017/papers/Chen_3D_Human_Pose_CVPR_2017_paper.pdf
Существует два основных метода, с помощью которых модели оценки поз могут определять позы человека.
- 2D-оценка позы: В этом типе оценки позы вы просто оцениваете расположение суставов тела в 2D-пространстве относительно входных данных (т. е. изображения или видеокадра). Местоположение представлено координатами X и Y для каждой ключевой точки.
- Оценка позы 3D: В этом типе оценки позы вы преобразуете 2D-изображение в 3D-объект, оценивая дополнительное Z-измерение к прогнозу. 3D-оценка позы позволяет нам предсказать точное пространственное положение изображаемого человека или предмета.
Оценка позы в 3D представляет собой серьезную проблему, с которой сталкиваются инженеры по машинному обучению из-за сложности создания наборов данных и алгоритмов, которые оценивают несколько факторов, таких как фоновая сцена изображения или видео, условия освещения и т. д.
Типы моделей оценки позы человека
Существует три основных типа моделей оценки позы человека, используемых для представления человеческого тела в 2D- и 3D-плоскостях.
https://www.semanticscholar.org/paper/Deep-Learning-Based-Human-Pose-Estimation%3A-A-Survey-Zheng-Wu/0edef16d8fb78625ec5a050e2a7ae4effef3689
#1. Модель на основе скелета: , также называемая кинематической моделью, этот представитель включает в себя набор ключевых точек (суставов), таких как лодыжки, колени, плечи, локти, запястья и ориентации конечностей, которые в основном используются для оценки позы в 3D и 2D.
Эта гибкая и интуитивно понятная модель человеческого тела включает в себя скелетную структуру человеческого тела и часто применяется для фиксации взаимосвязей между различными частями тела.
#2. Контурная модель: , также называемая планарной моделью, используется для оценки позы в 2D и состоит из контура и приблизительной ширины тела, туловища и конечностей. В основном, он представляет собой внешний вид и форму человеческого тела, где части тела отображаются с границами и прямоугольниками контура человека.
Известным примером является модель активной формы (ASM), которая захватывает весь график человеческого тела и деформации силуэта с использованием метода анализа основных компонентов (PCA).
#3. Объемная модель: , также называемая объемной моделью, используется для трехмерной оценки позы. Он состоит из нескольких популярных 3D-моделей человеческого тела и поз, представленных геометрическими сетками и формами человека, которые обычно используются для оценки 3D-позы человека на основе глубокого обучения.
Снизу вверх VS. Нисходящие методы оценки позы
Все методы оценки позы человека можно разделить на два основных подхода: восходящий и нисходящий.
- Методы «снизу вверх» сначала оценивают каждый сустав тела, а затем упорядочивают их для создания уникальной позы.
- Методы «сверху вниз» Сначала запустите детектор тела и определите суставы тела в пределах обнаруженных ограничивающих рамок.
Как работает оценка позы человека?
Теперь, когда вы знаете, что такое оценка позы, почему она необходима и в чем разница между различными методами, моделями и техниками, пришло время изучить ее работу. Да, мы собираемся поговорить о том, как работает оценка позы человека, и этот раздел разделен на 3 подкатегории соответственно:
- Базовая конструкция
- Обзор архитектуры модели
- Различные подходы к оценке позы человека
https://indatalabs.
com/resources/human-activity-recognition-fitness-app Базовая конструкция
https://nanonets.com/blog/human-pose-estimation-2d-guide/
Предлагается несколько решений проблемы оценки позы человека. Однако в целом существующие методы можно разделить на три группы, а именно: абсолютная оценка позы, относительная оценка позы и соответствующая оценка позы, представляющая собой комбинацию обоих.
Первый: метод абсолютной оценки позы основан на спутниковых навигационных сигналах, навигационных маяках, активных и пассивных ориентирах и сопоставлении тепловых карт. Второй: метод оценки относительной позы основан на точном расчете, который постепенно обновляет позу человека, оценивая расстояние от известного сустава, то есть исходное положение и ориентацию человека.
По сути, большинство алгоритмов используют позу и ориентацию человека для предсказания местоположения человека относительно фона. Это двухэтапная структура, которая идентифицирует ограничивающие прямоугольники человека, а затем оценивает позу каждого прямоугольника.
Затем он оценивает ключевые точки человека, которые будут соединены, такие как локти, колени, запястья и т. д. Мы можем оценить позы для одного человека или нескольких людей в зависимости от приложения.
При оценке одной позы модель оценивает позы одного человека в данной сцене. Напротив, в случае оценки нескольких поз модель оценивает позы для нескольких людей в заданной входной последовательности.
Обзор архитектуры модели
https://nanonets.com/blog/human-pose-estimation-2d-guide/
Несколько конкретных архитектур нейронных сетей не могут быть рассмотрены здесь в одной статье, но мы поговорим о нескольких надежных и надежных, с которых можно начать.
Модели оценки позы человека бывают нескольких разновидностей, т. е. подходы «снизу вверх» и «сверху вниз», упомянутые выше. Самая известная архитектура начинается с кодировщика, который берет входное изображение и извлекает признаки, используя ряд сужающих сверточных блоков. Следующий шаг после кодировщика зависит от метода, используемого для оценки позы.
Наиболее концептуально упрощенная система использует регрессор для окончательного вывода прогнозов местоположения каждой ключевой точки, принимая входное изображение и выдавая координаты X, Y и Z для каждой ключевой точки, которую вы пытаетесь предсказать. Однако практически эта архитектура не используется, так как не дает точных результатов без доработки.
Несколько более сложный подход использует архитектуру кодер-декодер. Вместо прямого вычисления координат суставов в этой архитектуре кодер передается в декодер, генерирующий тепловые карты. Эти тепловые карты представляют вероятность обнаружения сустава в данном разделе входного изображения.
Точные координаты выбираются путем выбора мест на тепловой карте с наибольшей вероятностью соединения во время постобработки. Кроме того, в случае многопозиционной оценки тепловая карта содержит несколько областей с высокой вероятностью ключевой точки, например, 2 или более левых рук на изображении. Это делается для того, чтобы присвоить каждому местоположению конкретную модель человека.
Рассмотренные выше архитектуры в равной степени применимы к оценке позы в 2D и 3D.
Различные библиотеки для оценки позы человека
С быстрым развитием классических методов компьютерного зрения оценка позы, включая сегментацию изображения и обнаружение объектов, стала лучше в различных задачах.
В этом разделе будут перечислены и рассмотрены пять самых популярных библиотек оценки поз, доступных в Интернете для общего пользования. Вы можете реализовать собственный оценщик позы человека, используя приведенные ниже библиотеки.
#1. OpenPose
Документация: https://cmu-perceptual-computing-lab.
github.io/openpose/web/html/doc/index.html
Ссылка на Github: https://github.com/CMU-Perceptual-Computing-Lab/openpose
Звезды Github: 22,8K
Вилка Github: 6.8K
OpenPose — бесплатная библиотека для обнаружения суставов человека, работающая в режиме реального времени. Он определяет ключевые точки для оценки тела, лица, рук и ног. Это первая многопользовательская система, которая совместно обнаруживает 135 ключевых точек на одном входном изображении. Это одна из самых популярных библиотек оценки позы человека для нескольких человек, в которой используется восходящий подход.
OpenPose — это API с открытым исходным кодом, который дает пользователям гибкость выбора входных изображений из полей камеры, веб-камер и других источников для приложений встроенных систем. Он поддерживает различные аппаратные архитектуры, включая графические процессоры CUDA, графические процессоры OpenCL и системы, использующие только ЦП.
Он широко используется для 2D-оценки позы (всего тела), 3D-реконструкции позы и оценки (всего тела), а также для плагина Unity.
#2. Обнаружение позы
Ссылка на Github: https://github.com/tensorflow/tfjs-models/tree/master/pose-detection
Звезды Github: 10.3K
Вилка Github: 3.2K
Обнаружение позы — это библиотека обнаружения позы в реальном времени с открытым исходным кодом, которая может определять позы человека на изображениях или видео. Это архитектура оценки позы, построенная на tensorflow.js и позволяющая обнаруживать части тела, такие как локти, бедра, запястья, колени, лодыжки и другие, для одной или нескольких поз.
Он создан для эффективной работы на легких устройствах, таких как браузеры или мобильные устройства. Этот пакет предлагает три современные модели для оценки позы в реальном времени:
- MoveNet (обнаруживает 17 ключевых точек и работает со скоростью 50+ кадров в секунду)
- BlazePose (обнаруживает 33 ключевые точки)
- PoseNet (способен обнаруживать несколько поз, и каждая поза содержит 17 ключевых точек)
#3.
Плотная поза
Документация: http://densepose.org/
Ссылка на Github: https://github.com/facebookresearch/Densepose
Звезды Github: 6.2K
Вилка Github: 1.2K
Оценка позы плотного человека — это бесплатная библиотека с открытым исходным кодом, которая может сопоставлять все человеческие пиксели 2D-изображений RGB с трехмерной моделью тела на основе поверхности в режиме реального времени. Эта библиотека реализована в рамках детектрона на базе caffe2, а также может использоваться для задач оценки одной и нескольких поз.
#4. Альфапоза
Документация: https://www.
mvig.org/research/alphapose.html
Ссылка на Github: https://github.com/MVIG-SJTU/AlphaPose
Звезды Github: 5.7K
Вилка Github: 1.6K
Alphapose — это библиотека оценки позы нескольких человек в режиме реального времени с открытым исходным кодом, которая использует популярный нисходящий подход и является очень точной. Эта библиотека помогает обнаруживать позы в присутствии неточных ограничивающих рамок человека и является оптимальной архитектурой для определения поз человека с помощью оптимально обнаруженных ограничивающих рамок.
Alphapose также предоставляет эффективный онлайн-трекер поз для связывания поз, указывающих на одного и того же человека в разных кадрах. Это первый онлайн-трекер поз с открытым исходным кодом, который называется PoseFlow. Эта библиотека может обнаруживать точные ключевые точки нескольких и одного человека в режиме реального времени в изображениях, видео и списках изображений.
#5. HRNet (сеть высокого разрешения)
Документация: https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html
Ссылка на Github: https://github.com/leoxiaobin/deep-high-resolution-net.pytorch
Звезды Github: 3.5K
Вилка GitHub: 810
HRNet — это архитектура, используемая для оценки позы человека, чтобы найти то, что мы знаем как ключевые точки по отношению к конкретным объектам или людям на изображении. Он поддерживает представления с высоким разрешением на протяжении всего процесса и прогнозирует очень точную тепловую карту ключевых точек.
Кроме того, эта архитектура подходит для определения осанки человека во время спортивных трансляций. HRNet помогла многим другим задачам плотного прогнозирования, таким как сегментация, выравнивание лиц, обнаружение объектов и т.
д.
Простой код оценки позы человека
Существует множество общедоступных наборов данных для оценки позы как в 3D, так и в 2D.
Наборы данных оценки 3D-позиции
- Плотная поза
- УП-3Д
- Человек3,6 м
- 3D-позы в дикой природе
- ЧеловекЕва
- Общий захват
- СЮРРЕАЛЬНЫЙ (Синтетические люди ДЛЯ РЕАЛЬНЫХ задач)
- Набор данных JTA
- МПИ-ИНФ-3ДХП
Наборы данных оценки 2D-позиции
- Набор данных позы человека MPII
- Спортивная поза Лидса
- Кадры, помеченные в Cinema
- Кадры, помеченные в Cinema Plus
- Поза YouTube (VGG)
- Поза BBC (VGG)
- Ключевые точки COCO
В нашем примере мы будем использовать предварительно обученную модель команды Openpose с использованием Caffe на наборе данных MPI, который имеет 15 ключевых точек для идентификации различных суставов в человеческом теле.
"Голова": 0, "Шея": 1, "RS плечо": 2, "RE локоть": 3, "RW запястье": 4, «L плечо»: 5, «L локоть»: 6, «L запястье»: 7, «Правое бедро»: 8, «Rnee»: 9, «Раньше»: 10, «Левом бедре»: 11, «Левом колене»: 12, «Лонжеленке»: 13, «Груди»: 14, «Фон»: 15
Определите пары поз, используемые для создания конечностей, которые будут соединять ключевые точки. Затем загрузите обученные модели.
Pose_Pairs = [["Голова", "Шея"], ["Шея", "RSплечо"], ["RSплечо", "REЛоб"],
["RElbow", "RWrist"], ["Шея", "LSoulder"], ["LSoulder", "LElbow"],
["LElbow", "LWrist"], ["Шея", "Грудь"], ["Грудь", "RHip"], ["RHip", "RKnee"],
["RKnee", "RAnkle"], ["Грудь", "LHip"], ["LHip", "LKnee"], ["LKnee", "Lankle"] ]
MODEL_URL="http://posefs1.perception.cs.cmu.edu/OpenPose/models/"
POSE_FOLDER="поза/"
MPI_FOLDER=${POSE_FOLDER}"mpi/"
MPI_MODEL=${MPI_FOLDER}"pose_iter_160000.caffemodel"
wget -c ${MODEL_URL}${MPI_MODEL} -P ${MPI_FOLDER} №1. Прочитайте файл .
prototxt и загрузите предварительно обученные веса в сеть.
сеть = cv.dnn.readNetFromCaffe (args.proto, args.model)
№2. Затем загрузите изображения пакетом и пропустите их через нейронную сеть.
blob = cv.dnn.blobFromImage(изображение, коэффициент масштабирования, размер, среднее значение, swapRB, обрезка)
№3. Вызовите функцию пересылки, чтобы выполнить вывод на входных изображениях. Затем сгенерируйте карту достоверности для каждой ключевой точки.
inp = cv.dnn.blobFromImage(frame, 1.0/255, (inWidth, inHeight),
(0, 0, 0), swapRB=False, урожая=False)
net.setInput(вход) выход = net.forward()
№4. Отобразите эти критические точки на исходном изображении.
для i в диапазоне (len(BODY_PARTS)):
# Разрезать тепловую карту соответствующей части тела.
тепловая карта = выход [0, я, :, :]
# Изначально пытаемся найти все локальные максимумы. Чтобы упростить образец
# мы просто находим глобальный. Однако только одна поза одновременно
# можно обнаружить таким образом.
_, conf, _, точка = cv.minMaxLoc (тепловая карта)
x = (frameWidth * point[0]) / out.shape[3]
y = (frameHeight * точка [1]) / out.shape [2]
# Добавить точку, если ее достоверность выше порогового значения.
points.append((int(x), int(y)) if conf > args.thr else None) 
Однако только одна поза одновременно
# можно обнаружить таким образом.
_, conf, _, точка = cv.minMaxLoc (тепловая карта)
x = (frameWidth * point[0]) / out.shape[3]
y = (frameHeight * точка [1]) / out.shape [2]
# Добавить точку, если ее достоверность выше порогового значения.
points.append((int(x), int(y)) if conf > args.thr else None) для пары в POSE_PAIRS:
часть от = пара [0]
часть = пара [1]
утверждать (часть из BODY_PARTS)
утверждать (partTo в BODY_PARTS)
idFrom = BODY_PARTS[partFrom]
idTo = BODY_PARTS[partTo]
если точки [idFrom] и точки [idTo]:
cv.line (кадр, точки [idFrom], точки [idTo], (255, 74, 0), 3)
cv.ellipse (кадр, точки [idFrom], (4, 4), 0, 0, 360, (255, 255, 255), cv.FILLED)
cv.ellipse (кадр, точки [idTo], (4, 4), 0, 0, 360, (255, 255, 255), cv.FILLED)
cv.putText (кадр, str (idFrom), точки [idFrom], cv.FONT_HERSHEY_SIMPLEX, 0,75, (255, 255, 255), 2, cv.LINE_AA)
cv. putText(frame, str(idTo), points[idTo], cv.FONT_HERSHEY_SIMPLEX, 0.75, (255, 255, 255),2,cv.LINE_AA) 
putText(frame, str(idTo), points[idTo], cv.FONT_HERSHEY_SIMPLEX, 0.75, (255, 255, 255),2,cv.LINE_AA) №5. Сохраните файл и запустите из командной строки, используя назначенные аргументы.
python3 sample.py --input sample.jpg --proto pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt --model pose/mpi/pose_iter_160000.caffemodel --dataset MPI
№6. Результаты
Применение оценки позы человека
Оценка позы человека — самая обсуждаемая тема компьютерного зрения, и она используется в самых разных приложениях и сценариях использования. Некоторые из них включают взаимодействие человека с компьютером, анализ движения, дополненную реальность и робототехнику.
В общем, оценка позы человека имеет бесконечное множество применений почти во всех областях. Некоторые из наиболее распространенных приложений, находящихся в разработке:
1. Оценка человеческой деятельности и перемещений
Одним из наиболее очевидных измерений, применимых к оценке позы, является отслеживание и измерение активности и движения человека.
Многие архитектуры, такие как OpenPose, PoseNet и DensePose, часто используются для распознавания действий, жестов или походки. Некоторые примеры отслеживания активности человека:
- Спортивные тренеры или персональные тренажеры с искусственным интеллектом
- Обнаружение сидячих жестов
- Мониторинг активности на рабочем месте
- Общение на языке жестов для инвалидов
- Обнаружение сигналов ГАИ
- Обнаружение сигнала судьи по крикету
- Обнаружение танцевальных техник
- Мониторинг перемещений в целях безопасности и наблюдения
- Подсчет и отслеживание посещаемости торговых точек
2. Дополненная реальность и виртуальная реальность (AR/VR)
В сочетании с приложениями дополненной и виртуальной реальности оценка позы человека дает возможность создавать более реалистичные и отзывчивые впечатления. Например, вы можете научиться играть в различные игры, такие как теннис или гольф, с помощью виртуальных наставников, чьи позы проиллюстрированы.
Более того, армия США внедрила программы дополненной реальности в боевые действия. Это помогает солдатам различать врагов и дружественные войска.
3. Робототехника
Традиционные промышленные роботы основаны на системах 2D-видения со многими ограничениями. Вместо ручного программирования роботов для изучения движений можно использовать метод трехмерной оценки позы. Такой подход позволяет создавать более гибкие, гибкие и реалистичные робототехнические системы. Это позволяет роботам понимать действия и движения, следуя позе, взгляду или внешнему виду наставника.
4. Анимация и игры
Современные достижения в технологии оценки поз и захвата движения делают анимацию персонажей оптимизированным и автоматизированным процессом. Например, камера глубины Kinect от Microsoft фиксирует движение человека в режиме реального времени, используя данные ИК-датчиков, и использует их для виртуальной визуализации действий персонажей в игровой среде.
Точно так же захват анимации для иммерсивных видеоигр также может быть легко автоматизирован с помощью различных архитектур оценки позы.
Концевые примечания
Оценка позы — это увлекательный компонент компьютерного зрения, используемый во многих областях, включая технологии, здравоохранение, игры и т. д. Я надеюсь, что мое подробное руководство по оценке позы человека помогло объяснить основы оценки позы человека, принципы ее работы и способы ее применения. используются в реальном мире.
Об авторе
Мринал Валия — профессиональный разработчик Python со степенью бакалавра компьютерных наук, специализирующийся на машинном обучении, искусственном интеллекте и компьютерном зрении. Мринал также является блогером-фрилансером, автором и гиком с четырехлетним опытом работы.
Если вам понравилось читать мою статью, свяжитесь со мной в моих профилях в социальных сетях и подпишитесь на меня, чтобы быстро выпить виртуальную чашку кофе.
Инстаграм | Фейсбук | Линкедин | Гитхаб | Электронная почта |
Спасибо, и не хорошего дня, хорошего дня!
Подробнее об обнаружении людей и объектов читайте здесь.
Каталожные номера
- https://www.researchgate.net/publication/225561390_A_Novel_Pose_Estimation_System_for_Indoor_Mobile_Robots_Based_on_Two_Optical_Sensors
- https://viso.ai/deep-learning/pose-estimation-ultimate-overview/
- https://www.fritz.ai/pose-estimation/#part-how
- https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/
- https://cv-tricks.com/pose-estimation/using-deep-learning-in-opencv/
Медиафайлы, показанные в этой статье, не принадлежат Analytics Vidhya и используются по усмотрению Автора.
Подход к глубокому обучению [Руководство 2023]
Вот все, что вам нужно знать об оценке позы человека и ее практическом применении. Узнайте о различных подходах HPE и ознакомьтесь с наиболее известными исследовательскими работами в этой области.
10
min read ·
2 сентября 2021 г.
Задача обычно решается с помощью глубокого обучения.
Это одна из самых интересных областей исследований, получившая широкое распространение благодаря своей полезности и универсальности — она находит применение в самых разных областях, включая игры, здравоохранение, дополненную реальность и спорт.
Эта статья даст вам всесторонний обзор того, что такое оценка позы человека и как она работает. Мы обещаем, что все будет просто 😉
В нем также будут рассмотрены различные подходы HPE — как классические методы, так и методы на основе глубокого обучения, метрики и методы оценки и многое другое.
Вот что мы рассмотрим:
- Что такое оценка позы человека?
- Классические и основанные на глубоком обучении подходы
- Оценка позы человека с использованием глубоких нейронных сетей
- Показатели оценки для модели оценки позы человека
- 10 лучших исследовательских работ по оценке позы человека
- 6 приложений для оценки позы человека
проекты, обязательно посмотрите видео ниже.
Теперь приступим.
Ускорьте маркировку данных в 10 раз. Используйте V7 для более быстрой разработки ИИ.
Не начинайте с пустыми руками. Изучите наш репозиторий с более чем 500 открытыми наборами данных и протестируйте инструменты V7.
Готовы прямо сейчас упростить развертывание продуктов ИИ? Проверьте:
- Обучение модели V7
- Рабочие процессы V7
- Автоматическое аннотирование V7
- Управление набором данных V7
Что такое оценка позы человека?
Оценка позы человека (HPE) — это способ идентификации и классификации суставов в человеческом теле.
По сути, это способ зафиксировать набор координат для каждого сустава (руки, головы, туловища и т. д.), известный как ключевая точка , которая может описать позу человека.
Соединение между этими точками известно как пара .
Связь между точками должна быть значительной, т. е. не все точки могут образовать пару. С самого начала цель HPE — сформировать скелетоподобное представление человеческого тела, а затем обработать его для конкретных задач.
Однако—
Существует три типа подходов к моделированию человеческого тела:
- Модель на основе скелета
- Модель на основе контура
- Модель на основе объема
Классические подходы против подходов на основе глубокого обучения
Подходы HPE в основном относятся к области компьютерного зрения и используются для понимания геометрическая информация и информация о движении человеческого тела, которая может быть очень сложной.
В этом разделе рассматриваются два подхода: классический подход и подход к HPE, основанный на глубоком обучении. Мы также объясним, почему классические подходы не могут получить геометрическую информацию и информацию о движении человеческого тела, и как алгоритмы глубокого обучения, такие как CNN, преуспевают в этом.
Классические подходы к 2D-оценке позы человека
Классические подходы обычно относятся к приемам и методам, включающим алгоритмы машинного обучения ласточки.
Например, более ранняя работа по оценке позы человека включала в себя реализацию случайного леса в «каркасе графической структуры». Это использовалось для предсказания суставов в человеческом теле.
Каркас изобразительной структуры (PSF) обычно называют одним из традиционных методов оценки позы человека. PSF содержал два компонента:
- Дискриминатор : Он моделирует вероятность присутствия определенной детали в определенном месте. Другими словами, он идентифицирует части тела.
- Предыдущий : это называется моделированием распределения вероятностей по позе с использованием выходных данных дискриминатора; смоделированная поза должна быть реалистичной.
В сущности, цель PSF состоит в том, чтобы представить человеческое тело как набор координат для каждой части тела в заданном входном изображении.
PSF использует нелинейные совместные регрессоры, в идеале двухуровневый регрессор случайного леса.
Эти модели хорошо работают, когда на входном изображении есть четкие и видимые конечности, однако они не могут захватывать и моделировать конечности, которые скрыты или не видны под определенным углом.
Чтобы преодолеть эти проблемы, использовались методы построения признаков, такие как гистограмма, ориентированная по Гауссу (HOG), контуры, гистограммы и т. д. Несмотря на использование этих методов, классической модели не хватало точности, корреляции и возможностей обобщения, поэтому принятие лучшего подхода было лишь вопросом времени.
Подходы, основанные на глубоком обучении, для оценки позы человека в 2D
Подходы, основанные на глубоком обучении, хорошо определяются их способностью обобщать любую функцию (если в данном скрытом слое присутствует достаточное количество узлов).
Когда речь идет о задачах компьютерного зрения, глубокие сверточные нейронные сети (CNN) превосходят все остальные алгоритмы, и это верно и для HPE.
CNN имеет возможность извлекать шаблоны и представления из заданного входного изображения с большей точностью, чем любой другой алгоритм; это делает CNN очень полезным для таких задач, как классификация, обнаружение и сегментация.
В отличие от классического подхода, при котором элементы создавались вручную; CNN может изучать сложные функции при наличии достаточного количества данных для обучения, проверки и тестирования.
💡 Совет от профессионала: Ищете качественные наборы данных для обучения своих моделей? Ознакомьтесь с 65+ лучшими бесплатными наборами данных для машинного обучения.Тошев и др. в 2014 году первоначально использовали CNN для оценки позы человека, переключившись с классического подхода на подход, основанный на глубоком обучении, и они назвали его DeepPose: оценка позы человека с помощью глубоких нейронных сетей .
В статье, которую они выпустили, они определили всю проблему как проблему регрессии на основе CNN к суставам тела.
Авторы также предложили дополнительный метод, в котором они реализовали каскад таких регрессоров для получения более точных и последовательных результатов. Они утверждали, что предлагаемая глубокая нейронная сеть может целостно моделировать заданные данные, т. е. сеть имеет возможность моделировать скрытые позы, что не соответствовало классическому подходу.
Благодаря убедительным и многообещающим результатам, показанным DeepPose, исследования HPE естественным образом тяготели к подходам, основанным на глубоком обучении.
Оценка позы человека с использованием глубоких нейронных сетей
По мере того, как исследования и разработки в HPE становились все более популярными, возникали новые проблемы.
Одним из них была оценка позы нескольких человек.
DNN очень сильны в оценке позы одного человека, но когда дело доходит до оценки нескольких людей они борются, потому что:
- Изображение может содержать несколько человек в разных положениях.
- По мере увеличения числа людей взаимодействие между увеличениями приводит к вычислительным сложностям.
- Увеличение сложности вычислений часто приводит к увеличению времени логического вывода в режиме реального времени.
Чтобы решить эти проблемы, исследователи предложили два подхода:
- Сверху вниз : локализуйте людей на изображении или видео, а затем оцените части с последующим вычислением позы.
- Снизу вверх : Оценка частей человеческого тела на изображении с последующим вычислением позы.
Теперь давайте посмотрим на модели глубокого обучения, которые используются для оценки позы нескольких людей.
💡 Совет от профессионала: Ознакомьтесь с 12 типами функций активации нейронных сетей, чтобы узнать больше.OpenPose
OpenPose был предложен Zhe Cao et. др. в 2019 году.
Это восходящий подход, при котором сеть сначала определяет части тела или ключевые точки на изображении, а затем сопоставляет соответствующие ключевые точки для формирования пар.
OpenPose также использует CNN в качестве основной архитектуры. Он состоит из сверточной сети VGG-19, которая используется для извлечения шаблонов и представлений из заданного ввода. Выход ВГГ-19 поступает на две ветви сверточных сетей.
Первая сеть прогнозирует набор карт достоверности для каждой части тела, в то время как вторая ветвь предсказывает полей сходства частей (PAF), которые создают степень ассоциации между частями. Также полезно обрезать более слабые звенья в двудольных графах.
На изображении выше показана архитектура OpenPose, которая представляет собой многоступенчатую CNN.
По сути, прогнозы из двух ветвей вместе с функциями объединяются для следующего этапа, чтобы сформировать человеческий скелет в зависимости от количества людей, присутствующих во входных данных. Последовательные этапы CNN используются для уточнения прогноза.
Изображение выше описывает общий конвейер OpenPose.
AlphaPose (RMPE)
Regional Multi-person Pose Estimation (RMPE) или AlphaPose реализует нисходящий подход к HPE.
Нисходящий подход к HPE приводит к большому количеству ошибок в локализации и неточностей во время прогнозирования и поэтому является довольно сложным.
Например, на изображении выше показаны две ограничивающие рамки, красная рамка представляет собой наземную истину, а желтая рамка представляет собой предсказанную ограничивающую рамку.
Хотя, когда дело доходит до классификации, желтая ограничивающая рамка будет считаться «правильной» ограничивающей рамкой для классификации человека. Однако позу человека невозможно оценить даже при «правильной» ограничительной рамке.
Авторы AlphaPose решили эту проблему несовершенного обнаружения человека с помощью двухэтапной схемы. В этой структуре они представили две сети:
- Сеть симметричных пространственных преобразователей (SSTN): помогает обрезать соответствующую область на входе, что впоследствии упрощает задачу классификации, что приводит к повышению производительности.
- Оценщик позы одного человека (SPPE): используется для извлечения и оценки позы человека.
Задача AlphaPose — извлечь высококачественную область одного человека из неточной ограничивающей рамки путем присоединения SSTN к SPPE. Этот метод повышает эффективность классификации за счет решения проблемы инвариантности, обеспечивая при этом стабильную основу для оценки позы человека.
Профессиональный совет : ознакомьтесь с 9 основными функциями инструмента аннотации ограничивающей рамки, чтобы выбрать правильный инструмент ограничивающей рамки для ваших нужд.
DeepCut
DeepCut был предложен Леонидом Пищулиным и др. др. в 2016 году с целью совместного решения задач обнаружения и определения положения одновременно.
Это восходящий подход к оценке позы человека.
Идея заключалась в том, чтобы обнаружить все возможные части тела на данном изображении, затем пометить их, например, голову, руки, ноги и т. д., а затем отделить части тела, принадлежащие каждому человеку.
В сети используется интегральное линейное программирование (ILP ) моделирование для неявной группировки всех обнаруженных ключевых точек в заданных входных данных таким образом, чтобы результирующий результат напоминал скелет человека.
Маска R-CNN
Маска R-CNN — это очень популярный алгоритм сегментации экземпляров.
Модель имеет возможность одновременно локализовать и классифицировать объекты, создавая ограничительную рамку вокруг объекта, а также создавая маску сегментации.
Базовая архитектура может быть легко расширена для задач оценки позы человека.
Fast R-CNN использует CNN для извлечения функций и представлений из данного ввода.
Извлеченные признаки затем используются, чтобы предложить, где может находиться объект, посредством Сети Предложений Региона (RPN).
Поскольку ограничительная рамка может быть разных размеров, как на изображении выше, слой с именем RoIAlign используется для нормализации извлеченных объектов, чтобы все они имели одинаковые размеры.
Извлеченные признаки передаются в параллельные ветви сети для уточнения предполагаемой области интереса (RoI) для создания ограничивающих рамок и масок сегментации.
Когда дело доходит до оценки позы человека, выходные данные сегментации маски, полученные сетью, могут использоваться для обнаружения людей в данном входе.
Поскольку сегментация маски очень точна при обнаружении объекта, в данном случае — обнаружении человека, позу человека можно довольно легко оценить.
Этот метод напоминает нисходящий подход, при котором этап обнаружения человека выполняется параллельно этапу обнаружения деталей.
Другими словами, этап обнаружения ключевых точек и этап обнаружения человека не зависят друг от друга.
Обучение моделей машинного обучения в 10 раз быстрее
Преобразование размеченных данных в модели. Разрабатывайте готовый к производству искусственный интеллект за несколько часов всего несколькими щелчками мыши.
Подробнее
->
7 приложений для оценки позы человека
Оценка позы человека имеет множество реальных приложений, поэтому давайте рассмотрим некоторые из наиболее распространенных вариантов использования HPE.
Персональные тренеры с искусственным интеллектом
Поддержание физического благополучия стало неотъемлемой частью нашей жизни в наши дни, и наличие хорошего тренера может помочь достичь желаемого уровня физической подготовки.
Неудивительно, что рынок перенасыщен приложениями, которые используют возможности искусственного интеллекта, чтобы помочь людям работать лучше.
Например, Zenia — это приложение для йоги на базе искусственного интеллекта, которое использует HPE для помощи в достижении правильной осанки во время занятий йогой. Он использует камеру для определения вашей позы и оценивает ее точность — если она верна, то предсказанная поза будет представлена зеленым цветом, как на изображении выше. Если поза неправильная, красный цвет заменит зеленый.
Помимо йоги, HPE также нашел применение в других формах упражнений.
Например, сейчас он широко используется в поднятии тяжестей, где он может помочь пользователям приложения правильно выполнять поднятие тяжестей, выявляя распространенные ошибки и предоставляя информацию о том, как их исправить, чтобы предотвратить травмы.
Робототехника
Робототехника была одной из самых быстрорастущих областей развития.
Хотя программирование робота для выполнения процедуры может быть утомительным и трудоемким, на помощь могут прийти подходы глубокого обучения.
Такие методы, как обучение с подкреплением, используют моделируемую среду для достижения уровня точности, необходимого для выполнения определенной задачи, и могут успешно использоваться для обучения робота.
Захват движения и дополненная реальность
Еще одним интересным применением HPE может быть компьютерная графика.
Сектор развлечений, в частности кинобизнес, тратит кучу денег на создание компьютерной графики для спецэффектов, загадочных существ, неземных пейзажей и многого другого.
Компьютерная графика стоит дорого, потому что требует больших усилий, таких как ношение специальных костюмов и масок для захвата движений, создание поверхностных эффектов в предполагаемой позе, вычислительная мощность, а также большие затраты времени вдобавок ко всему этому.
HPE может автоматически извлекать ключевые точки из 2D-ввода и создавать их 3D-рендеринг, который затем можно использовать для добавления эффектов, анимации и многого другого.
Определение позы спортсмена
В наши дни почти все виды спорта в значительной степени зависят от анализа данных.
Определение позы может помочь игрокам улучшить свою технику и добиться лучших результатов. Кроме того, определение позы можно использовать для анализа и изучения сильных и слабых сторон соперника, что бесценно для профессиональных спортсменов и их тренеров.
Отслеживание движения для игр
Еще одно интересное применение оценки позы связано с игровыми приложениями, где игроки могут использовать возможности захвата движения HPE для добавления поз в игровую среду. Цель состоит в том, чтобы создать интерактивный игровой опыт.
Например, Microsoft Kinect использует трехмерную оценку позы (используя данные ИК-датчика) для отслеживания движения игроков и использования ее для виртуальной визуализации действий персонажей в игровой среде.
Анализ движений младенцев
HPE также можно использовать для анализа движений младенцев. Это очень помогает при анализе поведения малыша по мере его роста, особенно при оценке хода его физического развития.
В некоторых случаях младенцы рождаются с серьезными проблемами со здоровьем, связанными с мышцами, суставами и нервной системой, некоторые из которых вызваны церебральным параличом, двигательными нарушениями или травмами.
Анализ движения может помочь определить, какие мышцы или суставы работают неправильно. Оценка позы может выявить тонкие аномалии в движении младенца, которые врачи могут проанализировать и предложить подходящее лечение. HPE также можно использовать в качестве рекомендательного инструмента для улучшения физических способностей, чтобы ребенок мог иметь максимальный уровень независимости.
Метрики оценки для модели оценки позы человека
Алгоритмы глубокого обучения нуждаются в надлежащих метриках оценки, чтобы хорошо изучить распределение во время обучения, а также хорошо работать во время логического вывода. Показатели оценки зависят от поставленных задач.
В этом разделе мы кратко обсудим четыре показателя оценки, необходимые для HPE.
Процент правильных частей (PCP)
PCP используется для измерения правильного обнаружения конечностей. Если расстояние между двумя прогнозируемыми местоположениями суставов и истинными местоположениями суставов конечностей составляет почти половину длины конечности, то конечность считается обнаруженной.
Однако иногда штрафуются более короткие конечности, например, предплечье.
Процент обнаруженных суставов (PDJ)
Чтобы решить проблему, поднятую PCP, был предложен новый показатель. Он измеряет расстояние между предполагаемым и истинным суставом в пределах определенной доли диаметра туловища и называется процентом обнаруженных суставов (PDJ).
PDJ помогает достичь точности локализации, что устраняет недостаток PCP, поскольку критерии обнаружения для всех суставов основаны на одном и том же пороге расстояния.
Процент правильных ключевых точек (PCK)
PCK используется в качестве показателя точности, который измеряет, находятся ли предсказанная ключевая точка и истинное соединение в пределах определенного порога расстояния. PCK обычно устанавливается относительно масштаба объекта, заключенного в ограничительную рамку.
Пороговое значение может быть:
- ПКХ@0,5, когда порог = 50% соединения костей головы
- ПКК@0,2 = Расстояние между прогнозируемым и истинным суставом < 0,2 * диаметр туловища
- Иногда берется 150 мм как порог.
- Облегчает проблему с более короткими конечностями, так как более короткие конечности имеют меньшие размеры туловища и костей головы.
- PCK используется для 2D и 3D (PCK3D)
Сходство ключевых точек объекта (OKS) на основе mAP
OKS обычно используется в вызове ключевых точек COCO в качестве метрики оценки. Он определяется как:
Где,
- di — евклидово расстояние между истинной и предсказанной ключевой точкой
- s — квадратный корень из площади сегмента объекта
- k — постоянная для ключевой точки, которая контролирует спад .
- vi считается флагом видимости, который может принимать значения 0, 1 или 2 для не помеченного, помеченного, но не видимого и видимого и помеченного соответственно.
Поскольку для расчета расстояния (0-1) используется OKS, он показывает, насколько близко спрогнозированная характерная точка находится к истинной характерной точке.
10 лучших исследовательских работ по оценке позы человека
Вот некоторые из наиболее известных исследовательских работ, посвященных различным подходам HPE.
- DeepPose: Оценка положения человека с помощью глубоких нейронных сетей
- Сверточные машины определения положения
- RMPE: Региональное определение положения нескольких человек
- Эффективная локализация объекта с использованием сверточных сетей
- DeepCut: совместное разделение подмножества и маркировка для оценки позы нескольких человек
- Простые базовые линии для оценки и отслеживания позы человека
- OpenPose: двумерная оценка позы для нескольких человек в реальном времени с использованием полей сходства частей
- оценка позы человека для реального мира переполненный Сценарии
- DensePose: Плотная оценка позы человека в дикой природе
- PersonLab: Оценка позы человека и сегментация экземпляра с помощью основанной на деталях геометрической модели встраивания снизу вверх
Оценка позы человека в двух словах
Оценка позы человека (HPE) — это способ извлечения позы человека (ов), обычно в форме скелета, из заданных входных данных: изображения или видео .
Это увлекательная и быстро развивающаяся область исследований, которая находит применение в самых разных отраслях. Некоторые из наиболее распространенных вариантов использования HPE включают спортивные тренировки, компьютерные игры, здравоохранение и многое другое.
Если вы хотите получить некоторый практический опыт работы с оценкой позы человека, рассмотрите возможность аннотирования ваших данных с помощью таких инструментов, как V7, которые предлагают функцию аннотирования скелета ключевых точек, которую вы можете попробовать бесплатно.
💡 Подробнее:
13 лучших инструментов для аннотирования изображений
Вводное руководство по качественному обучению данных для машинного обучения
Что такое маркировка данных и как это сделать эффективно [Учебное пособие]
Очистка данных контрольный список: как Подготовьте данные машинного обучения
Полное руководство по обучению с полуучителем
Руководство для начинающих по контрастному обучению
9 Реальные приложения для обучения с подкреплением
Объяснение средней средней точности (mAP): все, что вам нужно знать
Пошаговое руководство по текстовой аннотации [+ Бесплатный инструмент OCR]
Основное руководство по расширению данных в глубоком обучении
Получение знаний: принципы и Алгоритмы [+Приложения]
Нилеш Барла
PerceptronAI
Нилеш Барла является основателем компании PerceptronAI, целью которой является предоставление решений в области медицины и материаловедения с помощью алгоритмов глубокого обучения.
