Туториал позы человека: Создаём Динамические Позы Используя Нарисованные Жесты 

Как нарисовать действий позах карандашом поэтапно

Шаг 1. Рисование персонажей в действии позы на самом деле одна из самых трудных вещей, которые я могу придумать. Делаете правильно, однако, может быть очень полезным. Имея крутой персонаж в позе стоя-это нормально… ну, дизайн персонажа… персонаж не может действительно прийти к жизни, если вы можете нарисовать его в действии. Так что это действие поза? Это в основном персонаж что-то делает. Не путайте его с прохладным позицию, хотя я еще об этом позже. Настоящий поступок поза требует движения, сила, намерение, эмоцию, и многие интернет-художественного познания. Переходя от просто рисования стоя позы для рисования действие позы может быть пугающим, но я собираюсь попытаться сломать вещи, чтобы помочь Вам создать свой собственный динамичный экшен позы.

Шаг 2. Так ок, здесь мы имеем две цифры. Один, очевидно, основные позы стоя, а другой-в более действие представляют. Я не хочу, чтобы меня тоже с ума от позу только пока, но я хочу, чтобы проиллюстрировать, как смешение некоторых элементарных вещей действительно может привести персонажа к жизни. Во-первых, я изменил угол камеры, вид спереди в 3/4 вид. Мы тоже глядя на персонажа, так что есть много разных поверхностей показано на организм. Оттуда, я утрировал положение рук, наклонил туловище немного вперед, и согнутые ноги в сидячем положении. Даже для такой простой нарисованный, там много чего происходит.

Шаг 3. Вот еще пара цифр. На стоящая фигура, горизонтальные линии глаз, плечи и бедра параллельны и уровня. Это хорошо для некоторых вещей, но не для действий. Второй рисунок демонстрирует определенный язык тела, и появляется в более естественной позе. Обратите внимание, что происходит с этими линиями теперь. В противоположных углах глаз линии, линия плеч и линия бедер визуально интересным. Центральной линии на рисунке также меняется от прямой вертикальной линии в s-образную кривую. С этими изменениями, что-то происходит в действительности в рисунке. Когда человек смотрит на изображение, там больше наблюдать и думать. Вы хотите, чтобы люди посмотрите на свой рисунок как можно дольше, так что это до вас, чтобы дать им что-нибудь интересное посмотреть. Сложные углы, кривые и язык тела сделает свое дело.

Шаг 4. Туловище довольно много первое, на что следует обратить при рисовании действие позе. Положение рук, ног и головы, полностью зависит от положения туловища. В центре этого изображения, я обратил фасадной съемки простого туловище, разделенный между грудной клеткой и тазом. В окрестных выстрелов, я попытался показать различные способы, вы можете наклонять и поворачивать туловище, чтобы создать более интересную позу. Всегда помните, что вы можете перемещать камеру (так сказать) вокруг фигуры, нарисовав его сверху, снизу, сзади или сбоку. Грудная клетка и таз не обязательно ориентированы в том же направлении. В самом деле, располагая их лице в разных направлениях создается большое движение в рисунке. Когда человек ходит, их грудная клетка и таз редко выстраиваются в линию отлично, так что вы должны действительно попытаться избежать, если персонаж стоит идеально прямо на цель. Практика рисования этих торс фигуры. Если у вас есть проблемы визуализации движений туловища, попробуй представить его как подушку, которую можно сложить пополам. Помню, в центр туловища мягкая, так много гнуть и хлюпающие может пойти туда.

Шаг 5. Здесь мы имеем две позы. Верхний рисунок-это ходьба, а нижняя цифра ставит себе на дисплей, почти танцуя. Конечно, в первую выстрел из каждой позе, там не так много движения происходит. Эти слишком жесткие называться действий позах, так что мы можем сделать, чтобы улучшить их? В второй выстрел для каждой позе, главное изменение заключается в том, что я выгнулась спиной. Положив плечи назад создает сильный взгляд, и изгиб торса предполагает движение вперед. Я также добавил кривые руки и ноги, чтобы дать цифры более естественный вид. Обратите внимание, как на нижнем рисунке сбоку зажимается в В-образную форму, как она поднимает ее ногу. В 3-й пешей выстрел, я действительно преувеличил все элементы рисунка. Голова заострена вверх, туловище закручивается так грудь стояла перед нами и таза направлена в противоположную сторону. Руки и ноги находятся в более крайних позиций, предлагая большой отскок в персонажа шаг. Он в основном бегом в этот момент. Вы всегда можете передержать позу, но это просто иллюстрация идеи. В 3-м Нижнем выстрел, я снова наклонять голову вверх, и сделал конечностей позиции более экстремальные. Обратите внимание, как верхняя нога прикрепляется к тазу. Круглый привязанность дает нам ощущение глубины. Боковые прищипывают также более экстремальные здесь, который делает вид, как будто она просто подняла ногу в сторону быстро. Эта поза может быть продолжено, но тогда это был бы учебник по анимации.

Шаг 6. Кое-что интересное я хотел остановиться, — это связь между танцами и боевые позы. Я помню, как была удивлена, когда услышала, как ребята, как Джет Ли на самом деле занимался балетом. Что? Это на самом деле имеет большой смысл. Хореограф бой это как танец. Так что если вы хотите нарисовать сцену боя, или просто узнать, как работает человеческая фигура, вы, возможно, захотите, чтобы подавить Действие фильма и вместо того, чтобы наблюдать некоторые стадии танцев для справки. Цирк дю солей-это всегда интересно смотреть, и это может дать вам некоторые прекрасные идеи относительно движения в вашей фигуре чертежа.

Шаг 7. Когда я начну иллюстрации характера, я обычно делаю какой-то из поисковых эскизов перед началом финального изображения. Некоторые люди делают крошечные миниатюры рисунков. Мне нравится делать много грязной эскизов, чтобы проверить рисунок и найти формы и линии, которые выглядят и чувствуют себя хорошо. Эти эскизы не всегда успешно. На самом деле, их больше-неудач, чем успехов, но вот почему это хорошо, чтобы исследовать и экспериментировать перед началом финального изображения. Вы не хотите тратить много времени и усилий, чтобы рисовать что-то Вы не уверены. Сделать несколько набросков, чтобы иметь четкое представление, что вы собираетесь рисовать. Вы можете даже наткнуться на что-то лучшее, чем то, что вы изначально имели в виду. Для этого изображения я нарисовал несколько разных пробивая позах. Обратите внимание, как положение туловища изменяется от позы к позе. Каждый пуансон имеет другое чувство к нему, и это потому, что более всего правильного положения рук. Когда вы рисуете персонажа выбрасываешь удар, все тело является частью этого пунша. Выяснить, где сила находится в движении, а части тела будут следовать в этом направлении.

Шаг 8. Вот несколько более пробивать позах. Я на самом деле есть некоторые ссылки на этим, потому что я хотел иметь некоторые действительно сильные позы, чтобы показать. Посмотрите на то, как голова и руки касаются туловища, и обратите внимание на изгибы и углы наклона туловища сама по себе. Попробуй представить движение каждого действия. Картинки истребитель, опираясь на его удар, или прыгающего с его размахивая апперкот.

Шаг 9. Здесь я положил несколько смехотворно набухшей мышцы на верхней части основания рисунков. Что-то стоит упомянуть, что Вы не всегда видите лицо персонажа в действие позе. Это особенно актуально в анимации или комиксов и манги. Когда вы пытаетесь рассказать историю с картинками, это действие, которое наиболее важно. Иногда рука или нога важнее для образа, чем лицо персонажа.

Шаг 10. Вот еще несколько проволочных станах, но на этот раз мы будем смотреть на ногами. У нас есть один стоящий удар, один удар и прыгает. Я сжал прыжок удар на нижней части изображения, поэтому я извиняюсь за это. Две фигуры не были предназначены, чтобы быть взаимодействующими. Во всяком случае, положение грудной клетки и таза многое рассказать о действиях, происходящих здесь. Верхняя фигура имеет поворот его туловища, что указывает наотмашь с разворота типа удар. Нижний рисунок имеет туловище прямее, потому что это следующее действие ногой. Тело движется в заданном направлении стопы. Обратите внимание, как голова кружится смотреть, куда прикрепить направлена. Не своди глаз с противника! Это хороший совет для обоих борьбы и волочения.

Шаг 11. Более смехотворно большие мышцы. Странная вещь о действии позы заключается в том, что много «крутых» частях тела, как правило, прикрыто или спрятано. Что круче, чем грудные мышцы, верно? Да?? Ну, в обоих этих ногами позирует, грудь довольно сильно покрыты руки. Мне кажется, есть тенденция для того, чтобы показать тело в разных позах, но это не то, как это работает в реальной жизни. Другая вещь обратить внимание, какое голени исчезает на нижних пинать позе. Этот рисунок немного экстрима и мультяшной, но это еще один случай из частей тела заслоняя одна другую. В некоторых позах целую руку или ногу могут быть не видны. Опять же, это не интуитивно, но если вы посмотрите вокруг и получить определенную ссылку, вы начнете видеть и впитывать, когда это произойдет и когда можно воспользоваться тем, что во время рисования.

Шаг 12. Очистили линию искусства и решил добавить немного цвета в свое удовольствие. Хотя я только использовал немного одежды здесь можно увидеть, как ткань влияет на организм действия. Морщины и складки в одежде могут помочь усилить действие происходят в действие позе.

Шаг 13. Вот мини-Учебник для вас. Это один занимается ракурса. Это связано с тем, что я говорил о частях тела сокрытии других частей тела. В данном случае, это объекты, расположенные ближе к камере, которые прикрывают объекты за ним. В следующий раз, когда вы посмотрите в зеркало, посмотрите, что происходит с твоей рукой, когда оно направлено прямо на зеркало. Это в принципе становится короче. Рука начинает заслонять предплечья. Предплечья скрывает верхней рукоятки. Верхняя рука заслоняет плечо. Это ракурса. В этом мини уроке я использовал экстремального ракурса ради крутой позе. Что мы получаем гигантский коготь рукой в лицо, который покрывает всю руку за это. Положение тела и размер и положение рук указывают действия этого придурка пытаются попасть нам в лицо. Есть иллюзия фигура идет прямо на нас. Другие примеры ракурса вот видел в правую руку и торс. Заднее предплечье охватывает большую часть рукой и одним пальцем. В верхней части груди охватывает большую часть живота и таза. При рисовании что-то с большим количеством перекрывающихся частей тела и аксессуаров, всегда начинайте с главных объектов. Затем нарисуйте вспомогательные объекты и переместить ваш путь к фоновым объектам. В случае с этим парнем, Шаг 2 показывает нам руки-это первое, что можно извлечь. Шаг 3 показывает голову, в качестве вспомогательного объекта. Шаг 4 имеет туловище и задние рычаг втягивания. Наконец, Шаг 5 имеет то, как мы рисуем ножки, которые тянутся гораздо меньше, чем обычно для того, чтобы подтолкнуть, что ощущение глубины.

Шаг 14. В центре этого изображения, у нас есть маленький чувак в боевой стойке. Это не совсем действие, позу, но я представляю его прыгающим вокруг немного, может быть, как Брюс Ли. В окрестных четыре выстрела, я нарисовал такую же позу с разных ракурсов. Научиться рисовать тело со всех ракурсов сложно и занимает много времени для освоения. Я все еще есть длинный путь, чтобы пойти, но каждый рисунок поможет вам улучшить немного больше. Поэтому в основном я перерисовать эту позу сверху, снизу, сбоку и сзади. Угол камеры вы сами можете реально повлиять на то, как ваш персонаж выглядит. Выбирая экстремальный угол камеры можно сделать сложный рисунок, но это хорошо, чтобы бросить вызов себе. Обратите внимание, как различные части тела становятся видимыми или скрываются, когда рисунок нарисован с разных ракурсов. Четыре угловые чертежи существуют, чтобы проиллюстрировать влияние обрезки изображения при рисовании действий в позе. Мне очень нравится в верхнем правом и нижнем углу изображения. Выбор правильного ракурса может на самом деле преобразить относительно родовые позы в позу. В нижней правой части изображения, обратите внимание, как падают тени на персонаже. Я на самом деле сделал это как уловку, чтобы выбраться из того, чтобы нарисовать грудь детали. Говорил про лень! Получилось красиво, хотя. Чертеж комплексного действия поз может быть утомительно иногда, но используя тени и прочие хитрости, чтобы прикрыть трудно рисовать детали могут сделать его легче. Я знаю, это звучит ужасно, но иногда вы должны сделать все возможное, чтобы сделать изображение работы и получить работу. *кивает* это, как говорится, не использовать дешевые трюки слишком часто, иначе вы окажетесь десять лет вниз по дороге, не зная, как сделать некоторые очень важные вещи. Нет, конечно я говорю не о себе. Что? Едем дальше!

Шаг 15. Ладно, хватит лекций. Теперь давайте перейдем к некоторым традиционным учебником действий. Я не хотел ударить вас чем-то слишком сложным, так что я просто сделал эту позу на лету и я думаю, что это работает. Это парень с волшебным sceptor. Увидеть sceptor? *кивает* хорошо, что я выбрал вот прыжки позе. Этот парень вроде как заходят в крайнее правое положение. Его левая рука и плечо будут, стоящих перед нами. Туловище сгибается вперед немного, но мы рисуем его со стороны. Голова заслоняет заднее плечо. Один забавный трюк, который я здесь сделал, переступив конечностей одно напротив другого. Ваши рисунки могут стать скучным, если ты вечно рисуешь руки и ноги в стандартной позиции. Пересечение руку перед ногу, или наоборот, можно сделать очень интересной позе. В этом случае углы на самом деле создать маленькую геометрическую фигуру — квадрат — подставил левую руку и правую ногу. Я думаю, что это будет треугольником позже, но вы получите точку.

Шаг 16. Мы хотим привлечь в первую очередь объект по фигуре теперь. Хм… это жеребьевка, на самом деле, между головой и рукой. Поскольку эти части тела не пересекаются друг с другом, мы можем начать с лица и волос.

Шаг 17. Правая рука загораживает часть грудной клетки, и пересекает правую ногу в двух местах. Вот почему мы рисуем ее перед все остальное. Я устал от рисования рядом-голые мышцы парней, так что я собираюсь дать этому парню модное пальто манжеты вещь на плече и боевые перчатки. Обратите внимание, как рука запрокидывается назад, а пальцы указывают в разные стороны. Это гораздо интереснее, чем если бы я просто нарисованный кулак. Кулаками легче, но это интереснее. Используйте вашу собственную руку для справки, если вам нужно, но бросить вызов себе, чтобы нарисовать раскрытую ладонь. Руки очень выразительны и могут добавить много движения, чтобы ваши действия позы.

Шаг 18. Ок, времени на некоторые ткани. Начните этот шаг с рисования воротника оборачивая вокруг задней части шеи и вниз по груди, исчезая за руку. Воротник простирается вниз и появляется снова на другой стороне рычаг, заканчивающийся в нижней части пальто/жилет. Жилет хлопая на ветру немного, и всего-то немного движения (в сочетании с направлением волоса) достаточно для того, чтобы показать нам, в каком направлении движется в рисунке. Морщины использовать, чтобы указать на форму и угол наклона туловища. Морщины вот оборачивать вокруг спины, и образовывать вместе в задней/нижней части пальто. Обратите внимание, как морщины и начать распространяться из подмышечной области.

Шаг 19. Теперь перейдем к левой ноге. Благодаря какому-то незначительному ракурса, мы видим тень под коленную чашечку. Наиболее важной частью здесь является кривая нога, которая дает ощущение направления, и морщинки вокруг области промежности. Данные расходятся от центра подобно паутине, путешествуя на бедра, и вниз по направлению к внешнему колену. Я также обратил морщины бегут по правой ноге. Это поможет нам добавить деталь в контур, что нога в момент.

Шаг 20. Как я уже сказал, Мы можем использовать сторону тех промежности морщины нарисовать морщины на бедро правой ноги. Ткань ниже колена является более рыхлой и морщины гладкой и более изогнутые. Обратите внимание на различные углы ног. Это надо реально показать, как ноги направлены в разные стороны. Те промежность морщины растягиваться в направлении, в котором колени заострены.

Шаг 21. Для финального розыгрыша шаг, мы позаботимся об остальных рукоятки и оголовье хлопая на ветру. Поскольку правая рука находится в отдалении, мы будем рисовать его меньше, чем левая рука. Посмотрите на свою собственную руку для справки при рисовании рука, держащая sceptor. Угол sceptor перпендикулярно левой ноге, тем самым создавая большой угол 90 градусов. Ну, почти. Дело в том, это другой забавный визуальный трюк, который добавляет к общей позе. Угол вас нарисовать аксессуар или оружие может повлиять на то, как вся поза выглядит, так что поиграть с ним и выбрать то, что вам кажется выглядит наиболее динамично. Ленты оголовья хлопая в ту же сторону, что волос и задней части куртка/жилет. Эта деталь действительно помогает добавить ощущение движения к персонажу. Один из ленточек, собственно, и формирует невидимую линию с правой рукой. Надеюсь, что имеет смысл. Это просто еще один визуальный трюк удовольствие. На самом деле, sceptor линии с правого бедра таким же образом, и мы получаем еще один квадрат-иш форма в отрицательном пространстве под правую руку. Довольно прохладно.

Шаг 22. Так вот окончательный, подписали художественное произведение. Есть много места для глаз, чтобы объехать эту цифру. Эти скрещенные конечности и негативное пространство формы я упоминал на самом деле создать что-то вроде следа поезда для глаз зрителя следовать…. поэтому их глаза постоянно двигаться вокруг фигуры, и они постоянно смотришь на свой рисунок. Это именно то, что мы хотим.

Шаг 23. Я добавил некоторые цвета и несколько мультяшных горы обрамляют рисунок. Все в всех, я думаю, это выглядит довольно хорошо. Я надеюсь, что этот учебник и лекции в нескольких шагах от раннего дал вам некоторые идеи, чтобы иметь в виду при рисовании персонажей в действии позах. Заключительный совет, который я могу сделать, когда вы закончили рисовать крутую акцию позу, возьмите другой листок бумаги и попробуйте нарисовать его снова, толкая позу еще дальше, делая ее еще более экстремальной. Изменить угол камеры. Добавить некоторые аксессуары. Просто пытаться улучшить то, что вы уже сделали. Будучи в состоянии смотреть на свои собственные работы и вносить улучшения является важной частью быть хорошим художником и создать нечто визуально уникальным. Так что я надеюсь, это было полезно и интересно для вас. Обязательно выложите результаты рисования, и читай больше учебники скоро. Спасибо за просмотр!

учимся изображать плавные линии движения — Gamedev на DTF

Художник Kenzo продолжает объяснять, как рисовать динамичные позы, на этот раз заостряя внимание на плавных и живых линиях в жестовом наброске.

6616 просмотров

В прошлом уроке Kenzo рассказал о нескольких типах углов, которые помогут в рисовании поз. Теперь пришло время научится рисовать на их основе красивые изгибы, которые всем так нравятся в рисунках.

Статья — пересказ этого видео.

Важные точки в основе линий тела

Посмотрите на эти два набора звёздочек:

Слева звёзды разбросаны по всему пространству, справа — следуют некому визуальному потоку, так что можно выстроить их вдоль этой воображаемой изгибающейся линии.

Нужно научиться находить такие направляющие линии, рисуя фигуру.

Проблема в том, что в жизни мы видим не множество точек, а непосредственно саму фигуру. Стоит представить её как серию точек и попытаться найти воображаемые плавные линии, которые проходят сквозь них. Чтобы начать видеть важные точки фигуры, проще представлять контур фигуры.

Важные точки и контуры:

1. Контур головы (без волос), вокруг челюсти, через брови и вокруг глазниц

2. Ухо — опорная точка баланса + V-образная мышца, что проходит по шее сразу за ухом, вниз к середине ключиц

3. Ключицы

4. Линия, идущая посредине груди через пупок к промежности

5. Линия вдоль по низу грудных мышц

6. Кривая, огибающая туловище по линии таза, немного похожая на пояс, если человек одет в штаны

7. Линия вокруг дельтовидной мышцы на плечах

8. Мышца, которая идёт вниз по бедру по всей внутренней части

9. Для данного примера стоит обратить внимание на линии, идущие вниз с каждой стороны пресса до промежности

Сложная человеческая фигура превратилась во что-то более простое. Но она всё ещё избыточна. В этих линиях слишком много информации и сложности!

Если просто соединить каждую точку на контуре мелкими отрывистыми линиями, можно получить ломаный упрощённый рисунок фигуры. У него могут быть довольно точные пропорции и углы, но это не набросок позы и не тот динамичный жестовый рисунок, к которому мы стремимся. Что не так? Слишком много ненужной информации. В этих кривых нет визуального потока и ритма.

Нужно найти плавные линии, проходящие через все точки, точно так же, как мы делали со звёздами раньше. Некоторые точки будут отходить от кривой, которая у нас получится, но это совершенно нормально, потому что мы упрощаем и обобщаем линии.

Нужно уверенно проводить линию сквозь «сердце» составляющих фигуру точек и не вырисовывать каждую незначительную выпуклость. На руках и ногах можно отклоняться больше, чем на голове и туловище.

Рисуя набросок фигуры, вы двигаете те углы, о которых говорилось в первой части руководства, немного акцентируя соотношения грудной клетки и таза. В этом случае мы могли бы поставить грудную клетку под более сильным углом, а затем сдвинуть таз дальше вправо (по отношению к модели), чтобы углубить угол от грудной клетки к тазу и сделать позу динамичнее.

Всё это не рисунки структуры и не изучение форм (это хорошие упражнения, но в данном руководстве разбирается, как делать живой и быстрый жестовый набросок позы). Поза и структура — это две стороны одной медали, поэтому стоит сосредоточить свои поиски на ключевых точках фигуры. Чтобы передать суть позы, часто достаточно определить положение грудной клетки относительно таза.

Даже в очень упрощенных изгибах туловища Kenzo пытается показать, как это работает. Посмотрите на этот набросок:

Если выбрать такие вялые линии, как на картинке выше, то они превратят туловище в кашу: нет формы грудной клетки по сравнению с формой таза, всё больше похоже на кусок резины. Выбирайте такие изгибы, которые подчеркнут изменение угла в нижней части грудной клетки: она втягивается внутрь, а затем средняя часть сдавливается и резко изгибается, потому что таз смещён.

В этом случае использованы прямая линия сверху и выпуклая — для бедра.

Если добавить линию, которая идёт горизонтально по низу живота, это подчеркнёт, как таз наклонён вперёд. Затем добавить линию вокруг формы грудной клетки, в данном случае под грудью: теперь видно, что грудная клетка наклонена назад. Это будут очень простые линии, но они дают почувствовать разницу между массой грудной клетки и массой таза и понять, как эти формы ориентированы.

Kenzo напоминает, что это не структурный рисунок, не изучение анатомии грудной клетки: линии дают ощущение того, как расположены формы.

Kenzo уточняет, что не показывает какие-то особенные линии, которые всегда нужно использовать для рисования поз: на самом деле нет никаких точных, жёстких и быстрых правил. Было бы скучно, если бы все всё время использовали одни и те же кривые. Но пример подсказывает, на какие моменты обращать внимание.

Выгнутые и вогнутые линии

Часто вогнутые кривые линии могут вообще не понадобиться, особенно когда вы будете уточнять быстрый набросок до полного рисунка. Почему? Если представить, что тело наполнено жидкостью, словно шар с водой, то все его очертания будут иметь тенденцию выпячиваться наружу. Большинство линий контура тела выпуклы.

В набросках поз есть больше возможностей для использования некоторых вогнутых линий, потому что мы рисуем не саму фигуру, а позу. Но всё же, когда вы ищете линию, например, прогиба талии, вы часто будете использовать две выпуклые с-образные линии, а не одну большую вогнутую. Главное не перестараться и использовать действительно простые линии, соединяя точки, но всё же это должны быть правильные точки.

Не нужно форсировать естественный поток формы: не упрощайте больше, чем надо.

Итак, что действительно важно:

— отношение грудной клетки к положению таза

— отсутствие неуместных неровностей

— отсутствие линий сложнее, чем «c-s-i»-образной формы. Как правило, самая сложная кривая будет s-образной (это тоже не совсем правило — просто хороший принцип)

— рисование позы, а не анатомии

И не старайтесь соединить точки, которые не соединяются, плавными кривыми, которые на самом деле не работают.

Три уровня сложности в жестовых набросках поз:

• Углы и ракурсы, которые мы рассматривали в прошлом уроке.
• Красивые изгибы и ритмы.
• Значение самой позы. Что она выражает? Красивые изгибы и прочее должны подчёркивать действие, которое совершает человек. Кривые не просто красивы, они дают понять, что происходит с конкретной фигурой в конкретной позе, указывают, как распределяется вес и баланс.

Достаточно трудно думать обо всех этих ориентирах, углах и пропорциях сразу, но это как учиться ездить на велосипеде. Нужно помнить о руле, крутить педали и одновременно смотреть, куда едешь — безо всякой мышечной памяти. Можно прекрасно видеть фонарный столб и очень не хотеть в него врезаться, но справиться с управлением не так просто. БАММ! И так, пока не научишься.

В обучении рисунку всё примерно так же… только это сложнее, занимает больше времени и подкидывает изрядное количество «фонарных столбов». Но езда на велосипеде расслабляет и приносит удовольствие, и рисование набросков может стать таким же, как только начнёт получаться. Продолжайте упорствовать, и вы добьетесь совершенства!

Перевод выполнила Екатерина Середа, автор Smirnov School. Мы готовим концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Если придёте к нам на курс, не забудьте спросить о скидке для читателей с DTF.

Подход к глубокому обучению [Руководство 2022]

Что такое оценка позы человека?

Оценка позы человека (HPE) — это способ идентификации и классификации суставов в человеческом теле.

По сути, это способ зафиксировать набор координат для каждого сустава (руки, головы, туловища и т. д.), известный как ключевая точка , которая может описывать позу человека. Связь между этими точками известна как пара .

Связь между точками должна быть значительной, т. е. не все точки могут образовать пару. С самого начала цель HPE — сформировать скелетоподобное представление человеческого тела, а затем обработать его для конкретных задач.

Однако—

Существует три типа подходов к моделированию человеческого тела:

1. Модель на основе скелета
2. Модель на основе контура
3. Модель на основе объема
   

Классический подход против

на основе обучения

Подходы HPE в основном относятся к области компьютерного зрения и используются для понимания геометрической информации и данных о движении человеческого тела, которые могут быть очень сложными.

В этом разделе рассматриваются два подхода: классический подход и подход к HPE, основанный на глубоком обучении. Мы также объясним, почему классические подходы не могут захватить геометрическую информацию и информацию о движении человеческого тела, и как алгоритмы глубокого обучения, такие как CNN, преуспевают в этом.

Классические подходы к 2D-оценке позы человека

Классические подходы обычно относятся к приемам и методам, включающим алгоритмы машинного обучения ласточки.

Например, более ранняя работа по оценке позы человека включала в себя реализацию случайного леса в «каркасе графической структуры». Это использовалось для предсказания суставов в человеческом теле.

Каркас изобразительной структуры (PSF) обычно называют одним из традиционных методов оценки позы человека. PSF содержал два компонента:

1. Дискриминатор : Он моделирует вероятность наличия определенной детали в определенном месте. Другими словами, он идентифицирует части тела.
2. Предыдущий : это называется моделированием распределения вероятностей по позе с использованием выходных данных дискриминатора; смоделированная поза должна быть реалистичной.
   

В сущности, цель PSF состоит в том, чтобы представить человеческое тело как набор координат для каждой части тела в заданном входном изображении. PSF использует нелинейные совместные регрессоры, в идеале двухуровневый регрессор случайного леса.

Эти модели хорошо работают, когда на входном изображении есть четкие и видимые конечности, однако они не могут захватывать и моделировать конечности, которые скрыты или не видны под определенным углом.

Чтобы преодолеть эти проблемы, использовались методы построения признаков, такие как гистограмма, ориентированная по Гауссу (HOG), контуры, гистограммы и т. д. Несмотря на использование этих методов, классической модели не хватало точности, корреляции и возможностей обобщения, поэтому принятие лучшего подхода было лишь вопросом времени.

Подходы, основанные на глубоком обучении, для оценки позы человека в 2D

Подходы, основанные на глубоком обучении, хорошо определяются их способностью обобщать любую функцию (если в данном скрытом слое присутствует достаточное количество узлов).

Когда речь идет о задачах компьютерного зрения, глубокие сверточные нейронные сети (CNN) превосходят все остальные алгоритмы, и это верно и для HPE.

CNN имеет возможность извлекать шаблоны и представления из заданного входного изображения с большей точностью, чем любой другой алгоритм; это делает CNN очень полезным для таких задач, как классификация, обнаружение и сегментация.

В отличие от классического подхода, когда элементы создавались вручную; CNN может изучать сложные функции при наличии достаточного количества данных для обучения, проверки и тестирования.

💡 Совет от профессионала: Ищете качественные наборы данных для обучения своих моделей? Ознакомьтесь с 65+ лучшими бесплатными наборами данных для машинного обучения.

Тошев и др. в 2014 году первоначально использовали CNN для оценки позы человека, переключившись с классического подхода на подход, основанный на глубоком обучении, и они назвали его DeepPose: оценка позы человека с помощью глубоких нейронных сетей .

В статье, которую они выпустили, они определили всю проблему как проблему регрессии на основе CNN к суставам тела.

Авторы также предложили дополнительный метод, в котором они реализовали каскад таких регрессоров для получения более точных и последовательных результатов. Они утверждали, что предложенная глубокая нейронная сеть может целостно моделировать заданные данные, т. е. сеть имеет возможность моделировать скрытые позы, что не соответствовало классическому подходу.

Благодаря убедительным и многообещающим результатам, показанным DeepPose, исследования HPE естественным образом тяготели к подходам, основанным на глубоком обучении.

Оценка позы человека с использованием глубоких нейронных сетей

По мере того, как исследования и разработки в HPE становились все более популярными, возникали новые проблемы.

Одним из них была оценка позы нескольких человек.

ГНС очень хорошо умеют оценивать позу одного человека, но когда дело доходит до оценки нескольких человек они борются, потому что:

1. Изображение может содержать несколько человек в разных положениях.
2. По мере увеличения числа людей взаимодействие между увеличениями приводит к вычислительным сложностям.
3. Увеличение сложности вычислений часто приводит к увеличению времени логического вывода в режиме реального времени.
   

Чтобы решить эти проблемы, исследователи представили два подхода:

1. Сверху вниз : Локализуйте людей на изображении или видео, а затем оцените части с последующим вычислением позы.
2. Снизу вверх : Оценка частей человеческого тела на изображении с последующим вычислением позы.
   

Теперь давайте посмотрим на модели глубокого обучения, которые используются для оценки позы нескольких людей.

💡 Совет от профессионала: Ознакомьтесь с 12 типами функций активации нейронных сетей, чтобы узнать больше.

OpenPose

OpenPose был предложен Zhe Cao et. др. в 2019 году.

Это восходящий подход, при котором сеть сначала определяет части тела или ключевые точки на изображении, а затем сопоставляет соответствующие ключевые точки для формирования пар.

OpenPose также использует CNN в качестве основной архитектуры. Он состоит из сверточной сети VGG-19, которая используется для извлечения шаблонов и представлений из заданного ввода. Выход ВГГ-19 поступает на две ветви сверточных сетей.

Первая сеть прогнозирует набор карт достоверности для каждой части тела, в то время как вторая ветвь прогнозирует полей сходства частей (PAF), которые создают степень ассоциации между частями. Также полезно обрезать более слабые звенья в двудольных графах.

На изображении выше показана архитектура OpenPose, которая представляет собой многоступенчатую CNN.

По сути, прогнозы из двух ветвей вместе с функциями объединяются для следующего этапа, чтобы сформировать человеческий скелет в зависимости от количества людей, присутствующих во входных данных. Последовательные этапы CNN используются для уточнения прогноза.

Изображение выше описывает общий конвейер OpenPose.

AlphaPose (RMPE)

Regional Multi-person Pose Estimation (RMPE) или AlphaPose реализует нисходящий подход к HPE.

Нисходящий подход к HPE приводит к большому количеству ошибок в локализации и неточностей во время прогнозирования и, следовательно, довольно сложен.

Например, на изображении выше показаны две ограничивающие рамки, красная рамка представляет собой наземную истину, а желтая рамка представляет собой предсказанную ограничивающую рамку.

Хотя, когда дело доходит до классификации, желтая ограничивающая рамка будет считаться «правильной» ограничивающей рамкой для классификации человека. Однако позу человека невозможно оценить даже при «правильной» ограничительной рамке.

Авторы AlphaPose решили эту проблему несовершенного обнаружения человека с помощью двухэтапной схемы. В этой структуре они представили две сети:

1. Сеть симметричных пространственных преобразователей (SSTN): она помогает обрезать соответствующую область на входе, что впоследствии упрощает задачу классификации, что приводит к повышению производительности.
2. Оценщик позы одного человека (SPPE): используется для извлечения и оценки позы человека.
   

Задача AlphaPose — извлечь высококачественную область одного человека из неточной ограничивающей рамки путем присоединения SSTN к SPPE. Этот метод повышает эффективность классификации за счет решения проблемы инвариантности, обеспечивая при этом стабильную основу для оценки позы человека.

Профессиональный совет : ознакомьтесь с 9 основными функциями инструмента аннотаций ограничивающей рамки, чтобы выбрать правильный инструмент ограничивающей рамки для ваших нужд.

DeepCut

DeepCut был предложен Леонидом Пищулиным и др. др. в 2016 году с целью совместного решения задач обнаружения и определения положения одновременно.

Это восходящий подход к оценке позы человека.

Идея заключалась в том, чтобы обнаружить все возможные части тела на данном изображении, затем пометить их, например, голову, руки, ноги и т. д., а затем отделить части тела, принадлежащие каждому человеку.

Сеть использует моделирование интегрального линейного программирования (ILP ) для неявной группировки всех обнаруженных ключевых точек в данном входе, так что результирующий результат напоминает скелет человека.

Маска R-CNN

Маска R-CNN — это очень популярный алгоритм сегментации экземпляров.

Модель имеет возможность одновременно локализовать и классифицировать объекты, создавая ограничивающую рамку вокруг объекта, а также создавая маску сегментации.

Базовая архитектура может быть легко расширена для задач оценки позы человека.

Fast R-CNN использует CNN для извлечения функций и представлений из данного ввода.

Извлеченные признаки затем используются, чтобы предложить, где может находиться объект, через Сеть предложений региона (RPN).

Поскольку ограничительная рамка может быть разных размеров, как на изображении выше, слой с именем RoIAlign используется для нормализации извлеченных объектов, чтобы все они имели одинаковые размеры.

Извлеченные признаки передаются в параллельные ветви сети для уточнения предполагаемой области интереса (RoI) для создания ограничивающих рамок и масок сегментации.

Когда дело доходит до оценки позы человека, выходные данные сегментации маски, полученные сетью, могут использоваться для обнаружения людей в данном входе. Поскольку сегментация маски очень точна при обнаружении объекта, в данном случае — обнаружении человека, позу человека можно довольно легко оценить.

Этот метод напоминает нисходящий подход, при котором этап обнаружения человека выполняется параллельно этапу обнаружения деталей.

Другими словами, этап обнаружения ключевых точек и этап обнаружения человека не зависят друг от друга.

7 Приложения для оценки позы человека

Оценка позы человека имеет множество реальных приложений, поэтому давайте теперь рассмотрим некоторые из наиболее распространенных вариантов использования HPE.

Персональные тренеры с искусственным интеллектом

В наши дни поддержание физического благополучия стало неотъемлемой частью нашей жизни, и наличие хорошего тренера может помочь достичь желаемого уровня физической подготовки.

Неудивительно, что рынок перенасыщен приложениями, которые используют возможности искусственного интеллекта, чтобы помочь людям работать лучше.

Например, Zenia — это приложение для йоги на базе искусственного интеллекта, которое использует HPE для помощи в достижении правильной осанки во время занятий йогой. Он использует камеру для определения вашей позы и оценивает ее точность — если она верна, то предсказанная поза будет представлена ​​зеленым цветом, как на изображении выше. Если поза неправильная, красный цвет заменит зеленый.

Помимо йоги, HPE также нашел применение в других формах упражнений.

Например, теперь он широко используется в поднятии тяжестей, где он может помочь пользователям приложения правильно выполнять поднятие тяжестей, выявляя распространенные ошибки и предоставляя информацию о том, как их исправить, чтобы предотвратить травмы.

Робототехника

Робототехника была одной из самых быстрорастущих областей развития.

Хотя программирование робота для выполнения процедуры может быть утомительным и трудоемким, на помощь могут прийти подходы глубокого обучения.

Такие методы, как обучение с подкреплением, используют моделируемую среду для достижения уровня точности, необходимого для выполнения определенной задачи, и могут успешно использоваться для обучения робота.

Захват движения и дополненная реальность

Еще одним интересным применением HPE может быть компьютерная графика.

Сектор развлечений, в частности, кинобизнес, тратит кучу денег на создание компьютерной графики для спецэффектов, таинственных существ, неземных пейзажей и многого другого.

Компьютерная графика стоит дорого, потому что требует больших усилий, таких как ношение специальных костюмов и масок для захвата движений, создание поверхностных эффектов в предполагаемой позе, вычислительная мощность, а также большие затраты времени вдобавок ко всему этому.

HPE может автоматически извлекать ключевые точки из 2D-ввода и создавать их 3D-рендеринг, который затем можно использовать для добавления эффектов, анимации и многого другого.

Определение позы спортсмена

В наши дни почти все виды спорта в значительной степени зависят от анализа данных.

Определение позы может помочь игрокам улучшить свою технику и добиться лучших результатов. Кроме того, определение позы можно использовать для анализа и изучения сильных и слабых сторон соперника, что бесценно для профессиональных спортсменов и их тренеров.

Отслеживание движения для игр

Еще одно интересное применение оценки позы связано с игровыми приложениями, где игроки могут использовать возможности захвата движения HPE для добавления поз в игровую среду. Цель состоит в том, чтобы создать интерактивный игровой опыт.

Например, Microsoft Kinect использует трехмерную оценку позы (используя данные ИК-датчика) для отслеживания движения игроков и использования ее для виртуальной визуализации действий персонажей в игровой среде.

Анализ движений младенцев

HPE также можно использовать для анализа движений младенцев. Это очень помогает при анализе поведения ребенка по мере его роста, особенно при оценке хода его физического развития.

В некоторых случаях дети рождаются с серьезными проблемами со здоровьем, связанными с мышцами, суставами и нервной системой, некоторые из которых вызваны церебральным параличом, двигательными нарушениями или травмами.

Анализ движения может помочь определить, какие мышцы или суставы работают неправильно. Оценка позы может выявить тонкие аномалии в движении младенца, которые врачи могут проанализировать и предложить подходящее лечение. HPE также можно использовать в качестве рекомендательного инструмента для улучшения физических способностей, чтобы ребенок мог иметь максимальный уровень независимости.

Метрики оценки для модели оценки позы человека

Алгоритмы глубокого обучения нуждаются в надлежащих метриках оценки, чтобы хорошо изучить распределение во время обучения, а также хорошо работать во время логического вывода. Показатели оценки зависят от поставленных задач.

В этом разделе мы кратко обсудим четыре показателя оценки, необходимые для HPE.

Процент правильных частей (PCP)

PCP используется для измерения правильного обнаружения конечностей. Если расстояние между двумя прогнозируемыми местоположениями суставов и истинными местоположениями суставов конечностей составляет почти половину длины конечности, то конечность считается обнаруженной. Однако иногда штрафуются более короткие конечности, например, предплечье.

Процент обнаруженных соединений (PDJ)

Для решения проблемы, поднятой PCP, был предложен новый показатель. Он измеряет расстояние между предполагаемым и истинным суставом в пределах определенной доли диаметра туловища и называется процентом обнаруженных суставов (PDJ).

PDJ помогает достичь точности локализации, что устраняет недостаток PCP, поскольку критерии обнаружения для всех суставов основаны на одном и том же пороге расстояния.

Процент правильных ключевых точек (PCK)

PCK используется в качестве показателя точности, который определяет, находятся ли предсказанная ключевая точка и истинное соединение в пределах определенного порога расстояния. PCK обычно устанавливается относительно масштаба объекта, заключенного в ограничительную рамку.

Пороговое значение может быть:

• ПКХ@0,5 — это когда порог = 50% соединения костей головы
• ПКК@0,2 = Расстояние между прогнозируемым и истинным суставом < 0,2 * диаметр туловища
• Иногда берется 150 мм как порог.
• Облегчает проблему с более короткими конечностями, поскольку более короткие конечности имеют меньшие размеры туловища и костей головы.
• PCK используется для 2D и 3D (PCK3D)
  

Сходство ключевых точек объекта (OKS) на основе mAP

OKS обычно используется в вызове ключевых точек COCO в качестве метрики оценки. Он определяется как:

Где,

• di — евклидово расстояние между истинной и предсказанной ключевой точкой
• s — квадратный корень из площади сегмента объекта
• k — постоянная для ключевой точки, которая контролирует падение .
• vi считается флагом видимости, который может принимать значения 0, 1 или 2 для не помеченного, помеченного, но не видимого и видимого и помеченного соответственно.
  

Поскольку для расчета расстояния (0-1) используется OKS, он показывает, насколько близко спрогнозированная ключевая точка находится к истинной ключевой точке.

10 лучших исследовательских работ по оценке позы человека

Вот некоторые из наиболее известных исследовательских работ, посвященных различным подходам HPE.

1. DeepPose: оценка положения человека с помощью глубоких нейронных сетей
2. Сверточные машины определения положения
3. RMPE: региональное определение положения нескольких человек
4. Эффективная локализация объекта с помощью сверточных сетей
5. DeepCut: совместное разделение подмножества и маркировка для оценки позы нескольких человек
6. Простые базовые линии для оценки и отслеживания позы человека
7. OpenPose: двумерная оценка позы для нескольких человек в реальном времени с использованием полей схожести частей
8. оценка позы человека для реального скопления людей Сценарии
9. DensePose: Плотная оценка позы человека в дикой природе
10. PersonLab: Оценка позы человека и сегментация экземпляра с помощью основанной на деталях геометрической модели встраивания снизу вверх
    

Оценка позы человека в двух словах

Оценка позы человека (HPE) — это способ извлечения позы человека (ов), обычно в форме скелета, из заданных входных данных: изображения или видео .

Это увлекательная и быстро развивающаяся область исследований, которая находит применение в самых разных отраслях. Некоторые из наиболее распространенных вариантов использования HPE включают спортивные тренировки, компьютерные игры, здравоохранение и многое другое.

Если вы хотите получить некоторый практический опыт работы с оценкой позы человека, рассмотрите возможность аннотирования своих данных с помощью таких инструментов, как V7, которые предлагают функцию аннотации скелета ключевых точек, которую вы можете попробовать бесплатно.

💡 Подробнее:

13 лучших инструментов аннотирования изображений 2022 года [обзор]

Вводное руководство по качеству обучающих данных для машинного обучения

Что такое маркировка данных и как это сделать эффективно [Учебник]

5 Данные Контрольный список очистки: как подготовить данные машинного обучения

Полное руководство по обучению с полуучителем

Руководство для начинающих по контрастному обучению

9 Обучение с подкреплением Реальные приложения

Объяснение средней средней точности (mAP): все, что вам нужно знать

Пошаговое руководство по текстовой аннотации [+Бесплатный инструмент OCR]

Основное руководство по расширению данных в глубоком обучении

Получение знаний: принципы и алгоритмы [+Приложения]

Подробное руководство по оценке позы человека

Оценка позы человека — это задача компьютерного зрения, которая представляет ориентацию человека в графическом формате. Этот метод широко применяется для прогнозирования частей тела человека или положения суставов. Это одна из самых захватывающих областей исследований в области компьютерного зрения, которая получила большое распространение благодаря обилию приложений, которые могут извлечь выгоду из такой технологии.

Сегодняшняя статья расскажет об оценке позы человека и о том, как она работает. Кроме того, я постараюсь рассказать о некоторых лучших проектах по оценке поз с открытым исходным кодом на Github, а также о некоторых современных моделях, методах и типах оценки поз, которые доказывают огромный прогресс в этой области.

Просматривая это подробное руководство, вы столкнетесь со следующими темами:

1. Что такое оценка позы человека?
2. Важность оценки позы человека
3. Разница между оценкой позы человека в 2D и 3D
4. Типы моделей оценки позы человека
5. Снизу вверх VS. Нисходящие методы оценки позы
6. Как работает оценка позы человека?
7. Простой код оценки позы человека
8. Применение оценки позы человека
9. Заключительные слова
10. Об авторе
11. Каталожные номера

Что такое оценка позы человека?

^{https://www. analyticsvidhya.com/blog/2021/10/human-pose-estimation-using-machine-learning-in-python/}

Human Pose Estimation идентифицирует и классифицирует позы частей человеческого тела и суставов на изображениях или видео. Как правило, метод, основанный на моделях, используется для представления и вывода о позах человеческого тела в двухмерном и трехмерном пространстве.

По сути, это способ зафиксировать набор координат путем определения суставов человеческого тела, таких как запястье, плечо, колени, глаза, уши, лодыжки и руки, что является ключевой точкой на изображениях и видео, которые могут описывать позу человека. человек.

Затем, когда изображение или видео передается модели оценки позы в качестве входных данных, она идентифицирует координаты этих обнаруженных частей тела и суставов в качестве выходных данных, а также показатель достоверности, показывающий точность оценок.

Важность оценки позы человека

Обнаружение людей уже давно является основным предметом обсуждения различных приложений в традиционном обнаружении объектов. Благодаря последним разработкам в области алгоритмов машинного обучения компьютеры теперь могут понимать язык человеческого тела, выполняя определение и отслеживание поз. Точность этих обнаружений и требования к оборудованию для их запуска теперь достигли точки, когда они стали коммерчески жизнеспособными.

Кроме того, рост технологии также сильно изменился в условиях пандемии коронавируса, когда высокоэффективное обнаружение и отслеживание поз в реальном времени привнесет некоторые из самых влиятельных тенденций в компьютерное зрение. Например, его можно использовать для социального дистанцирования, комбинируя оценку позы человека и эвристику проецирования расстояния. Это помогает людям сохранять физическую дистанцию ​​друг от друга в людном месте.

Оценка позы человека окажет значительное влияние на различные отрасли, включая безопасность, бизнес-аналитику, здоровье и безопасность, а также развлечения. Одной из таких областей, где эта техника уже доказала свое существование, является автономное вождение. Благодаря обнаружению и отслеживанию позы человека в режиме реального времени компьютеры могут очень точно определять и прогнозировать поведение пешеходов, что позволяет более последовательно управлять автомобилем.

Разница между оценкой позы человека в 2D и 3D

https://openaccess.thecvf.com/content_cvpr_2017/papers/Chen_3D_Human_Pose_CVPR_2017_paper.pdf

Существует два основных метода, с помощью которых модели оценки поз могут определять позы человека.

1. 2D-оценка позы: В этом типе оценки позы вы просто оцениваете расположение суставов тела в 2D-пространстве относительно входных данных (т. е. изображения или видеокадра). Местоположение представлено координатами X и Y для каждой ключевой точки.
2. Оценка позы 3D: В этом типе оценки позы вы преобразуете 2D-изображение в 3D-объект, оценивая дополнительное Z-измерение к прогнозу. 3D-оценка позы позволяет нам предсказать точное пространственное положение изображаемого человека или предмета.

Оценка позы в 3D представляет собой серьезную проблему, с которой сталкиваются инженеры по машинному обучению из-за сложности создания наборов данных и алгоритмов, которые оценивают несколько факторов, таких как фоновая сцена изображения или видео, условия освещения и т. д.

Типы моделей оценки позы человека

Существует три основных типа моделей оценки позы человека, используемых для представления человеческого тела в 2D- и 3D-плоскостях.

^{https://www.semanticscholar.org/paper/Deep-Learning-Based-Human-Pose-Estimation%3A-A-Survey-Zheng-Wu/0edef16d8fb78625ec5a050e2a7ae4effef3689}

№1. Модель на основе скелета: , также называемая кинематической моделью, этот представитель включает в себя набор ключевых точек (суставов), таких как лодыжки, колени, плечи, локти, запястья и ориентации конечностей, которые в основном используются для оценки позы в 3D и 2D.

Эта гибкая и интуитивно понятная модель человеческого тела включает в себя скелетную структуру человеческого тела и часто применяется для фиксации взаимосвязей между различными частями тела.

#2. Контурная модель: , также называемая планарной моделью, используется для оценки позы в 2D и состоит из контура и приблизительной ширины тела, туловища и конечностей. В основном, он представляет собой внешний вид и форму человеческого тела, где части тела отображаются с границами и прямоугольниками контура человека.

Известным примером является модель активной формы (ASM), которая захватывает весь график человеческого тела и деформации силуэта с использованием метода анализа главных компонентов (PCA).

#3. Объемная модель: , также называемая объемной моделью, используется для трехмерной оценки позы. Он состоит из нескольких популярных 3D-моделей человеческого тела и поз, представленных геометрическими сетками и формами человека, которые обычно используются для оценки 3D-позы человека на основе глубокого обучения.

Снизу вверх VS. Нисходящие методы оценки позы

Все методы оценки позы человека можно разделить на два основных подхода: восходящий и нисходящий.

1. Метод «снизу вверх» сначала оценивает каждый сустав тела, а затем упорядочивает их для создания уникальной позы.
2. Методы сверху вниз Сначала запустите детектор тела и определите суставы тела в пределах обнаруженных ограничивающих рамок.

Как работает оценка позы человека?

Теперь, когда вы знаете, что такое оценка позы, почему она необходима и в чем разница между различными методами, моделями и техниками, пришло время изучить ее работу. Да, мы собираемся поговорить о том, как работает оценка позы человека, и этот раздел разделен на 3 подкатегории соответственно:

• Базовая конструкция
• Обзор архитектуры модели
• Различные подходы к оценке позы человека

^{https://indatalabs. com/resources/human-activity-recognition-fitness-app}

Базовая конструкция

^{https://nanonets.com/blog/human-pose-estimation-2d-guide/}

Предлагается несколько решений проблемы оценки позы человека. Однако в целом существующие методы можно разделить на три группы, а именно: абсолютная оценка позы, относительная оценка позы и соответствующая оценка позы, представляющая собой комбинацию обоих.

Первый: метод абсолютной оценки позы основан на спутниковых навигационных сигналах, навигационных маяках, активных и пассивных ориентирах и сопоставлении тепловых карт. Второй: метод оценки относительной позы основан на точном расчете, который постепенно обновляет позу человека, оценивая расстояние от известного сустава, то есть исходное положение и ориентацию человека.

По сути, большинство алгоритмов используют позу и ориентацию человека для прогнозирования местоположения человека относительно фона. Это двухэтапная структура, которая идентифицирует ограничивающие прямоугольники человека, а затем оценивает позу каждого прямоугольника.

Затем он оценивает ключевые точки человека, которые будут соединены, такие как локти, колени, запястья и т. д. Мы можем оценивать позы для одного человека или нескольких людей в зависимости от приложения.

При оценке одной позы модель оценивает позы одного человека в данной сцене. Напротив, в случае оценки нескольких поз модель оценивает позы для нескольких людей в заданной входной последовательности.

Обзор архитектуры модели

^{https://nanonets.com/blog/human-pose-estimation-2d-guide/}

Несколько конкретных архитектур нейронных сетей не могут быть рассмотрены здесь в одной статье, но мы поговорим о нескольких надежных и надежных, с которых можно начать.

Модели оценки позы человека бывают нескольких разновидностей, т. е. подходы «снизу вверх» и «сверху вниз», упомянутые выше. Самая известная архитектура начинается с кодировщика, который берет входное изображение и извлекает признаки, используя ряд сужающих сверточных блоков. Следующий шаг после кодировщика зависит от метода, используемого для оценки позы.

Наиболее концептуально упрощенная система использует регрессор для окончательного вывода прогнозов местоположения каждой ключевой точки, принимая входное изображение и выдавая координаты X, Y и Z для каждой ключевой точки, которую вы пытаетесь предсказать. Однако практически эта архитектура не используется, так как не дает точных результатов без доработки.

Несколько более сложный подход использует архитектуру кодер-декодер. Вместо прямого вычисления координат суставов в этой архитектуре кодер передается в декодер, генерирующий тепловые карты. Эти тепловые карты представляют вероятность обнаружения сустава в данном разделе входного изображения.

Точные координаты выбираются путем выбора мест на тепловой карте с наибольшей вероятностью соединения во время постобработки. Кроме того, в случае многопозиционной оценки тепловая карта содержит несколько областей с высокой вероятностью ключевой точки, например, 2 или более левых рук на изображении. Это делается для того, чтобы присвоить каждому местоположению конкретную модель человека.

Рассмотренные выше архитектуры в равной степени применимы к оценке позы в 2D и 3D.

Различные библиотеки для оценки позы человека

С быстрым развитием классических методов компьютерного зрения оценка позы, включая сегментацию изображения и обнаружение объектов, превзошла многие задачи.

В этом разделе будут перечислены и рассмотрены пять самых популярных библиотек оценки позы, доступных в Интернете для общего пользования. Вы можете реализовать собственный оценщик позы человека, используя приведенные ниже библиотеки.

№1. OpenPose

Документация: https://cmu-perceptual-computing-lab. github.io/openpose/web/html/doc/index.html

Ссылка на Github: https://github.com/CMU-Perceptual-Computing-Lab/openpose

Звезды Github: 22.8K

Вилка Github: 6.8K

OpenPose — бесплатная библиотека для обнаружения суставов человека, работающая в режиме реального времени. Он определяет ключевые точки для оценки тела, лица, рук и ног. Это первая многопользовательская система, которая совместно обнаруживает 135 ключевых точек на одном входном изображении. Это одна из самых популярных библиотек оценки позы человека для нескольких человек, в которой используется восходящий подход.

OpenPose — это API с открытым исходным кодом, который дает пользователям гибкость выбора входных изображений из полей камеры, веб-камер и других источников для приложений встроенных систем. Он поддерживает различные аппаратные архитектуры, включая графические процессоры CUDA, графические процессоры OpenCL и системы, использующие только ЦП. Он широко используется для 2D-оценки позы (всего тела), 3D-реконструкции позы и оценки (всего тела), а также для плагина Unity.

#2. Обнаружение позы

Ссылка на Github: https://github.com/tensorflow/tfjs-models/tree/master/pose-detection

Звезды Github: 10.3K

Вилка Github: 3.2K

Обнаружение позы — это библиотека обнаружения позы в реальном времени с открытым исходным кодом, которая может определять позы человека на изображениях или видео. Это архитектура оценки позы, построенная на tensorflow.js и позволяющая обнаруживать части тела, такие как локти, бедра, запястья, колени, лодыжки и другие, для одной или нескольких поз.

Он создан для эффективной работы на легких устройствах, таких как браузеры или мобильные устройства. Этот пакет предлагает три современные модели для оценки позы в реальном времени:

• MoveNet (обнаруживает 17 ключевых точек и работает со скоростью 50+ кадров в секунду)
• BlazePose (обнаруживает 33 ключевые точки)
• PoseNet (с возможностью определения нескольких поз, каждая поза содержит 17 ключевых точек)

#3. Плотная поза

Документация: http://densepose.org/

Ссылка на Github: https://github.com/facebookresearch/Densepose

Звезды Github: 6.2K

Вилка Github: 1.2K

Оценка плотной позы человека — это бесплатная библиотека с открытым исходным кодом, которая может сопоставлять все человеческие пиксели 2D-изображений RGB с трехмерной моделью тела на основе поверхности в режиме реального времени. Эта библиотека реализована в рамках детектрона на базе caffe2, а также может использоваться для задач оценки одной и нескольких поз.

#4. Альфапоза

Документация: https://www. mvig.org/research/alphapose.html

Ссылка на Github: https://github.com/MVIG-SJTU/AlphaPose

Звезды Github: 5.7K

Вилка Github: 1.6K

Alphapose — это библиотека оценки позы нескольких человек в режиме реального времени с открытым исходным кодом, которая использует популярный нисходящий подход и является очень точной. Эта библиотека помогает обнаруживать позы при наличии неточных ограничивающих рамок человека и является оптимальной архитектурой для определения поз человека с помощью оптимально обнаруженных ограничивающих рамок.

Alphapose также предоставляет эффективный онлайн-трекер поз для связывания поз, указывающих на одного и того же человека в разных кадрах. Это первый онлайн-трекер поз с открытым исходным кодом, который называется PoseFlow. Эта библиотека может обнаруживать точные ключевые точки нескольких и одного человека в режиме реального времени в изображениях, видео и списках изображений.

#5. HRNet (сеть высокого разрешения)

Документация: https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html

Ссылка на Github: https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

Звезды Github: 3.5K

Вилка Github: 810

HRNet — это архитектура, используемая для оценки позы человека, чтобы найти то, что мы знаем как ключевые точки по отношению к конкретным объектам или людям на изображении. Он поддерживает представления с высоким разрешением на протяжении всего процесса и прогнозирует очень точную тепловую карту ключевых точек.

Кроме того, эта архитектура подходит для определения позы человека в спортивных трансляциях. HRNet помогла многим другим задачам плотного прогнозирования, таким как сегментация, выравнивание лиц, обнаружение объектов и т. д.

Простой код оценки позы человека

Существует множество общедоступных наборов данных для оценки позы как в 3D, так и в 2D.

Наборы данных 3D-оценки позы

• Плотная поза
• УП-3Д
• Человек3,6 м
• 3D-позы в дикой природе
• HumanEva
• Общий захват
• СЮРРЕАЛЬНЫЙ (Синтетические люди ДЛЯ РЕАЛЬНЫХ задач)
• Набор данных JTA
• МПИ-ИНФ-3ДХП

Наборы данных 2D оценки позы

• Набор данных о позах человека MPII
• Спортивная поза Лидса
• Кадры, помеченные в Cinema
• Кадры, помеченные в Cinema Plus
• Поза YouTube (VGG)
• Поза большого черного члена (VGG)
• Ключевые точки COCO

В нашем примере мы будем использовать предварительно обученную модель команды Openpose с использованием Caffe на наборе данных MPI, который имеет 15 ключевых точек для идентификации различных суставов в человеческом теле.

 "Голова": 0, "Шея": 1, "RS плечо": 2, "RE локоть": 3, "RW запястье": 4,
«L плечо»: 5, «L локоть»: 6, «L запястье»: 7, «Правое бедро»: 8, «Rnee»: 9,
«Раньше»: 10, «Левом бедре»: 11, «Левом колене»: 12, «Лонжеленке»: 13, «Груди»: 14,
«Фон»: 15 

Определите пары поз, используемые для создания конечностей, которые будут соединять ключевые точки. Затем загрузите обученные модели.

 Pose_Pairs = [["Голова", "Шея"], ["Шея", "RSплечо"], ["RSплечо", "REЛоб"],
             ["RElbow", "RWrist"], ["Шея", "LSoulder"], ["LSoulder", "LElbow"],
             ["LElbow", "LWrist"], ["Шея", "Грудь"], ["Грудь", "RHip"], ["RHip", "RKnee"],
             ["RKnee", "RAnkle"], ["Грудь", "LHip"], ["LHip", "LKnee"], ["LKnee", "Lankle"] ]
MODEL_URL="http://posefs1.perception.cs.cmu.edu/OpenPose/models/"
POSE_FOLDER="поза/"
MPI_FOLDER=${POSE_FOLDER}"mpi/"
MPI_MODEL=${MPI_FOLDER}"pose_iter_160000.caffemodel"
wget -c ${MODEL_URL}${MPI_MODEL} -P ${MPI_FOLDER} 

№1. Прочитайте файл .prototxt и загрузите предварительно обученные веса в сеть.

 сеть = cv.dnn.readNetFromCaffe (args.proto, args.model) 

№2. Затем загрузите изображения пакетом и пропустите их через нейронную сеть.

 blob = cv.dnn.blobFromImage(изображение, коэффициент масштабирования, размер, среднее значение, swapRB, обрезка) 

№3. Вызовите функцию пересылки, чтобы выполнить вывод на входных изображениях. Затем сгенерируйте карту достоверности для каждой ключевой точки.

 inp = cv.dnn.blobFromImage(frame, 1.0/255, (inWidth, inHeight),
                              (0, 0, 0), swapRB=False, урожая=False)
net.setInput(вход) 

выход = net.forward()

№4. Отобразите эти критические точки на исходном изображении.

 для i в диапазоне (len(BODY_PARTS)):
    # Разрезать тепловую карту соответствующей части тела.
    тепловая карта = выход [0, я, :, :]
    # Изначально пытаемся найти все локальные максимумы. Чтобы упростить образец
    # мы просто находим глобальный. Однако только одна поза одновременно
    # можно обнаружить таким образом.
    _, conf, _, точка = cv.minMaxLoc (тепловая карта)
    x = (frameWidth * point[0]) / out.shape[3]
    y = (frameHeight * точка [1]) / out.shape [2]
    # Добавить точку, если ее достоверность выше порогового значения.
    points.append((int(x), int(y)) if conf > args. thr else None) 

 для пары в POSE_PAIRS:
    часть от = пара [0]
    часть = пара [1]
    утверждать (часть из BODY_PARTS)
    утверждать (partTo в BODY_PARTS)
    idFrom = BODY_PARTS[partFrom]
    idTo = BODY_PARTS[partTo]
    если точки [idFrom] и точки [idTo]:
        cv.line (кадр, точки [idFrom], точки [idTo], (255, 74, 0), 3)
        cv.ellipse (кадр, точки [idFrom], (4, 4), 0, 0, 360, (255, 255, 255), cv.FILLED)
        cv.ellipse (кадр, точки [idTo], (4, 4), 0, 0, 360, (255, 255, 255), cv.FILLED)
        cv.putText (кадр, str (idFrom), точки [idFrom], cv.FONT_HERSHEY_SIMPLEX, 0,75, (255, 255, 255), 2, cv.LINE_AA)
        cv.putText(frame, str(idTo), points[idTo], cv.FONT_HERSHEY_SIMPLEX, 0.75, (255, 255, 255),2,cv.LINE_AA) 

№5. Сохраните файл и запустите из командной строки, используя назначенные аргументы.

 python3 sample.py --input sample.jpg --proto pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt --model pose/mpi/pose_iter_160000. caffemodel --dataset MPI 

#6. Результаты

Применение оценки позы человека

Оценка позы человека — самая обсуждаемая тема компьютерного зрения, и она используется в самых разных приложениях и сценариях использования. Некоторые из них включают взаимодействие человека с компьютером, анализ движения, дополненную реальность и робототехнику.

В общем, оценка позы человека имеет бесконечное множество применений практически во всех областях. Некоторые из наиболее распространенных приложений, которые находятся в разработке:

1. Оценка человеческой деятельности и перемещений

Одним из наиболее очевидных измерений, применимых к оценке позы, является отслеживание и измерение активности и движения человека. Многие архитектуры, такие как OpenPose, PoseNet и DensePose, часто используются для распознавания действий, жестов или походки. Некоторые примеры отслеживания активности человека:

• Спортивные тренеры или персональные тренажеры с искусственным интеллектом
• Обнаружение сидячих жестов
• Мониторинг активности на рабочем месте
• Общение на языке жестов для инвалидов
• Обнаружение сигнала ГАИ
• Обнаружение сигнала судьи по крикету
• Обнаружение танцевальных техник
• Мониторинг перемещений в целях безопасности и наблюдения
• Подсчет и отслеживание посещаемости торговых точек

2. Дополненная реальность и виртуальная реальность (AR/VR)

В сочетании с приложениями дополненной и виртуальной реальности оценка позы человека дает возможность создавать более реалистичные и отзывчивые впечатления. Например, вы можете научиться играть в различные игры, такие как теннис или гольф, с помощью виртуальных наставников, чьи позы проиллюстрированы. Более того, армия США внедрила программы дополненной реальности в боевые действия. Это помогает солдатам различать врагов и дружественные войска.

3. Робототехника

Традиционные промышленные роботы основаны на системах 2D-видения со многими ограничениями. Вместо ручного программирования роботов для изучения движений можно использовать метод трехмерной оценки позы. Такой подход позволяет создавать более гибкие, гибкие и реалистичные робототехнические системы. Это позволяет роботам понимать действия и движения, следуя позе, взгляду или внешнему виду наставника.

4. Анимация и игры

Современные достижения в технологии оценки поз и захвата движения делают анимацию персонажей оптимизированным и автоматизированным процессом. Например, камера глубины Kinect от Microsoft фиксирует движения человека в режиме реального времени, используя данные ИК-датчиков, и использует их для виртуальной визуализации действий персонажей в игровой среде. Точно так же захват анимации для иммерсивных видеоигр также может быть легко автоматизирован с помощью различных архитектур оценки позы.

Конечные примечания

Оценка позы — это увлекательный компонент компьютерного зрения, используемый во многих областях, включая технологии, здравоохранение, игры и т. д. Я надеюсь, что мое исчерпывающее руководство по оценке позы человека помогло объяснить основы оценки позы человека, принципы ее работы и способы ее применения. используются в реальном мире.

Об авторе

Мринал Валия — профессиональный разработчик Python со степенью бакалавра компьютерных наук, специализирующийся на машинном обучении, искусственном интеллекте и компьютерном зрении.