Программа которая рисует за тебя: Нейросеть, которая рисует вместе с вами / Все о дизайне / Pollskill

Программ 

Содержание

‎App Store: Sketchar: рисование это просто

Описание

Лучшее приложение для креаторов чтобы преуспеть в креативной экономике: AR+AI+NFT

Развивай свою креативность с помощью уникального интерактивного подхода AR-рисования, редактирования фотографий и геймификации. Мы объединили дополненную реальность и искусственный интеллект, чтобы ускорить процесс обучения и сделать его более увлекательным.

Sketchar — это новая ступень развития для креаторов и тех, кто всегда хотел что-то создать, но не мог.

Вот уникальные функции, которые есть только в приложении Sketchar:
1. ДОПОЛНИТЕЛЬНАЯ РЕАЛЬНОСТЬ для рисования
Через камеру смартфона ты видишь AR-эскиз на поверхности перед собой. Просто возьми карандаш и шаг за шагом проводи виртуальные линии на листе бумаги. Эта функция также используется профессиональными художниками для масштабирования эскизов на таких поверхностях, как стены.

2. AI-ПОРТРЕТЫ
Преврати свои фотографии в иллюстрации одним нажатием.

Теперь твой смартфон может делать то же, что и профессиональные художники, создавая свои произведения искусства.

3. AR-МАСКИ для Снапчат
Создай свою собственную маску за минуту и сразу примерий её в Снапчат.

4. МИНИ-ИГРЫ
для развития креативности. Да, ты не ослышался. В игровой форме можно и нужно развивать творческое мышление.

5. КУРСЫ с уроками рисования
Выбирай среди множества пошаговых уроков рисования. Можешь начать с набора для начинающих или углубиться в конкретную тему по своему выбору, чтобы улучшить свои навыки, например портреты или аниме. Научись рисовать животных, мультфильмы, аниме, граффити и много других интересных вещей.

6. РИСОВАЛКА с пошаговым руководством

Если по рукой нет бумаги, чтобы опробовать функцию доп. реальности, ты можешь попрактиковаться с помощью нового инструмента для рисования. Отличительной особенностью является то, что приложение подставляет нужный инструмент на каждом этапе (карандаш, маркер или кисть), чтобы ты мог сфокусироваться на творческом процессе.

7. ПЛАТФОРМА чтобы поделиться своим творчеством. Ускоренные видео автоматически сохраняются в профиле приложения. Поделись своими достижениями с друзьями.

—
Sketchar предлагает три варианта платных подписок с автообновлением, которые предоставляют неограниченный доступ к премиум-контенту и функциям приложения.

Подписка на 1 месяц — $ 14.99 / месяц
1 год подписки с 3-дневной пробной версией — $ 69.99 / год
Подписка на специальное предложение на 1 год — $ 44.99 / го
* Цены для разных стран могут отличаться. Цены равны значению, которое определяет Apple App Store Matrix, и эквивалентны цене подписки в долларах США.

Нам всегда интересно узнать твоё мнение, поэтому не стесняйся написать нам на [email protected].

Правила использования: https://sketchar.io/terms/
Политика конфиденциальности: https://sketchar.io/privacy/

«>14 сент. 2022 г.

Версия 8.4.2

— Новая функция — творите, превращайте свои работы в NFT прямо в приложении и продавайте их.
— Упрощенный процесс загрузки работ и коллекций.
— Ребрендинг приложения.
— Другие улучшения и исправления.

Оценки и отзывы

Оценок: 2,3 тыс.

Проблема

Пожалуйста, исправьте проблему с исчезновением рисунка во время рисования. AR полосы лагают, меняют размер

Приложение само по себе очень крутое

Но как рисовать левую часть рисунка? Правую я ещё могу, но как переходу к правой части, сразу же теряется рисунок. Очень жаль, ведь приложение, правда, хорошее. А так же не могу разобраться как держать телефон, рука осень устаёт.

Подписки

SketchAR PRO

All access to all functions

Пробная подписка

Разработчик SketchAR указал, что в соответствии с политикой конфиденциальности приложения данные могут обрабатываться так, как описано ниже. Подробные сведения доступны в политике конфиденциальности разработчика.

Данные, используе­мые для отслежи­вания информации

Следующие данные могут использоваться для отслеживания информации о пользователе в приложениях и на сайтах, принадлежащих другим компаниям:

  • Контактные данные
  • Идентифика­торы

Связанные с пользова­телем данные

Может вестись сбор следующих данных, которые связаны с личностью пользователя:

  • Контактные данные
  • Идентифика­торы

Не связанные с пользова­телем данные

Может вестись сбор следующих данных, которые не связаны с личностью пользователя:

  • Пользова­тель­ский контент
  • Идентифика­торы
  • Данные об использова­нии
  • Диагностика

Конфиденциальные данные могут использоваться по-разному в зависимости от вашего возраста, задействованных функций или других факторов. Подробнее

Информация

Провайдер
SKETCHAR UAB

Размер
180,5 МБ

Категория
Графика и дизайн

Возраст
12+ Большое/значительное количество соревнований

Copyright
© Sketchar Inc.

Цена
Бесплатно

  • Сайт разработчика
  • Поддержка приложения
  • Политика конфиденциальности

Поддерживается

Вам может понравиться

Стрит-арт-художник создал приложение для рисования при помощи дополненной реальности — Будущее на vc.

ru

Ему удалось набрать 150 тысяч пользователей без расходов на маркетинг, стать партнёром Huawei и привлечь Покраса Лампаса в качестве амбассадора.

34 091 просмотров

Продукт

SketchAR — приложение, которое учит рисованию с помощью дополненной реальности.

Пользователь выбирает эскиз, который накладывается поверх чистого листа бумаги, а затем обводит линии, пока не получится готовый рисунок.

За работой следит виртуальный помощник — он комментирует действия пользователя, шутит и даёт советы вроде «а вот эту линию стоило бы сделать потолще».

Со временем советы становятся более индивидуальными — наблюдая за руками художника, ассистент «учится» и определяет уровень его навыков.

Кроме того, у SketchAR есть режим для рисования на вертикальных поверхностях. Он предназначен для более удобного переноса готовых рисунков на стену, и в нём нет пошагового сопровождения.

Процесс выглядит так: сперва пользователь выбирает изображение (или фото) на устройстве, и оно преобразуется в эскиз. Затем наводит камеру на участок стены и фиксирует шаблон: линии останутся неподвижными, даже если смартфон перемещать в пространстве.

Рисование на вертикальных поверхностях доступно для устройств, которые поддерживают библиотеку ARKit (iOS) или ARCore (для Android, в прошлом она называлась Google Tango).

  • iPhone от модели 6S и выше, iPad и iPad Pro 2017 и 2018.
  • Huawei P20, P20 Pro, Mate 20 Mate 20 Pro, а также Lenovo Phab 2 Pro или Asus ZenFone AR (как первые прототипы смартфонов, способные работать с дополненной реальностью).
  • Microsoft HoloLens.

Режим рисования на горизонтальных поверхностях поддерживают все современные смартфоны.

Команда

SketchAR — продукт родом из технопарка Вильнюса, но за ним стоит команда с российскими корнями.

Андрей (Adno) Дробитько — дизайнер, стрит-арт-художник и ИТ-предприниматель. В 2008 году он открыл агентство Art Family Group — разрабатывал брендирование, типографику, а позже — интерфейсы для мобильных приложений.

Три года спустя он вместе с партнёрами Александром Данилиным и Антоном Прониным запустил свой первый стартап Kula Tech. Предприниматели развивали платформу, которая адаптировала сайты СМИ для мобильных устройств — вёрстка статей становилась похожей на журнальную, а реклама встраивалась нативно.

Kula Tech прошёл акселерационную программу в бизнес-инкубаторе Farminers и привлёк $150 тысяч. А в 2013 году — $1,5 млн от Farminers и фонда IMI.VC.

В 2014 году платформу использовали 14 изданий, включая российские Maxim, Elle, Marie Claire и английский Burda. По данным РБК, выручка Kula Tech составляла $30 тысяч в месяц, однако компания не приносила прибыль.

В 2015 году Kula Tech пришлось закрыть. Из-за возросших курсов валют многие издания обанкротились, а оставшиеся — сократили рекламные бюджеты. «Поскольку основным источником выручки для нас была реклама, у нас тоже всё благополучно загнулось», — поясняет Дробитько.

Он стал думать, чем заниматься дальше. Вспомнил об идее, над которой размышлял ещё в 2012 году, — создать приложение для стрит-арт-художников, которое помогало бы рисовать с помощью дополненной реальности и упрощало бы процесс.

В то время его остановило то, что смартфоны были недостаточно мощными, чтобы обрабатывать видео с камеры в режиме реального времени.

В 2016 году он предложил своему бывшему партнёру Александру Данилину запустить новый проект — SketchAR. Их поддержал прежний инвестор — фонд IMI.VC, который вложили в проект €150 тысяч под новые условия. Подробности и распределение долей Дробитько не раскрывает.

После закрытия Kula Tech в новую компанию Дробитько перешли 10 из 20 сотрудников, включая Android- и iOS-разработчиков. Однако предприниматель понимал, что этого недостаточно: разработка алгоритмов для компьютерного зрения потребует фундаментальных знаний в области математики.

Он решил найти таких специалистов и столкнулся с проблемой. «Как правило, хорошие квалифицированные исследователи не ищут работу, тем более не ходят по специальным сайтам. Таких людей нет ни на HeadHunter, ни в “Моём Круге”, и HR до них достучаться не могут», — рассуждает сооснователь SketchAR.

Дробитько повезло — он познакомился с одним разработчиком, который занимался исследованиями в области компьютерного зрения и писал кандидатскую работу по этой теме в одном из университетов на юге России.

Он познакомил предпринимателя со своими коллегами по исследовательской группе, и Дробитько предложил молодым учёным присоединиться к проекту. Они разработали ядро системы.

«В SketchAR было больше исследовательской работы, чем разработки».

Разработка SketchAR началась летом 2016 года. Первоначально Дробитько собирался создавать продукт для профессиональных художников, чтобы они могли рисовать эскизы и переносить их на стены.

Александр Данилин (слева) и Андрей Дробитько

Однако после исследования рынка он заметил, что в некоторых странах (например, в Китае, России и Франции) один из самых высокочастотных поисковых запросов — это «научиться рисовать».

Тогда он решил в первую очередь сфокусироваться на массовой аудитории и разработать продукт на стыке онлайн-обучения, искусства и развлечений.

По данным Дробитько, к 2021 году объём рынка дополненной реальности составит до $130 млрд, а рынка онлайн-образования к 2022 году — до $280 млрд.

Технология

Видео с камеры смартфона, которое отображается на экране, — это последовательность из множества статичных кадров.

Чтобы отобразить эскиз рисунка в дополненной реальности на лист бумаги, нужно:

  • Получить входящий видеопоток.
  • Считать с каждого кадра координаты листа бумаги.
  • Обработать координаты и вычислить положение эскиза относительно листа.
  • Наложить эскиз.
  • Всё это в режиме реального времени — то есть алгоритм должен работать настолько быстро, чтобы успеть обработать за секунду 24–30 кадров.

По словам Дробитько, когда команда приступила к разработке ядра, компьютерное зрение было исследовано не очень хорошо.

Библиотека OpenCV, которая использовалась при разработке проектов в сфере дополненной реальности, хорошо определяла лица и распознавала текст, чуть хуже — объекты.

Рисование предполагает, что камера пользователя смотрит на белый лист бумаги — и вот тут алгоритмы компьютерного зрения оказались бессильны: они не могли оценить расстояние до объекта и рассчитать координаты в пространстве.

Представьте, если приложить трубку к глазу и через неё посмотреть на белый лист бумаги, вы никогда не сможете сказать, на каком расстоянии от вас он находится — потому что человеческое зрение оценивает дистанцию до предметов относительно окружения.

То же самое верно и для камеры смартфона — чтобы оценить угол обзора, дальность объекта и все остальные вещи, необходима информация об окружении.

Впрочем, есть альтернативный вариант — поместить на поверхность заранее распечатанную метку (например, QR-код), которая станет точкой отсчёта. Он применяется в таких библиотеках для работы с компьютерным зрением, как Vuforia и Kudan.

Однако Дробитько понимал, что пользователи не будут тратить время на печать QR-кодов: им нужно предложить такое решение, которое будет работать моментально.

«К тому же многие наверняка хотели бы нарисовать картину и повесить её в рамку — а распечатанный QR-код испортил бы впечатление», — рассуждает предприниматель.

В итоге команда SketchAR написала собственную библиотеку для работы с компьютерным зрением, которая способна распознавать рукописные метки на листе бумаги и строить относительно них координаты для расположения эскиза.

В первой версии приложения пользователю перед началом работы требовалось нарисовать на листе пять кругов — три сверху, один — слева, один — снизу.

Однако затем Дробитько заметил, что пользователи испытывают трудности уже на этом этапе, и круги заменил на крестики.

В ноябре 2018 года в SketchAR появились виртуальные помощники — анимированные персонажи, которые учат рисовать и дают советы.

Для внедрения этой функции команда использовала машинное обучение и нейросети — чтобы приложение не просто «видело», но «понимало», что именно происходит в кадре.

Система училась, анализируя видео пользователей (которые дали на это согласие). Нейросеть оценивала:

  • как именно рисуют люди;
  • на какой бумаге;
  • при каком освещении;
  • как они держат карандаш;
  • есть ли в кадре посторонние предметы и так далее.

Благодаря этим данным помощник может определять процент законченности рисунка, навык пользователя, насколько хорошо он справляется (например, оценивая толщину линии и различия между эскизом и получившимся изображением) и многое другое.

Кроме того, информация о том, в каких условиях рисуют пользователи, позволила увеличить точность расположения эскиза в дополненной реальности.

Мы можем отличить десятки и сотни видов столов, мы знаем, на какой бумаге рисуют люди, сколько и какие предметы могут быть на столе, как они держат карандаш и так далее

Мы могли бы учить нейросеть «в парниковых условиях», где на кадрах хорошее освещение и идеально ровная бумага. Но на самом деле люди рисуют под лампами на мятой бумаге и с бардаком на столе.

Это одна из ценностей нашего продукта: если кто-то из конкурентов захочет его скопировать, им придётся потратить такое же количество времени, потому что обучение — длительный и линейный процесс.

Благодаря машинному обучению команда SketchAR смогла разработать трекинг объектов в дополненной реальности, для которого не нужны маркеры.

Упрощённо: система проецирует эскиз на ровную поверхность, оценивая оттенки белого, а когда пользователь начинает рисовать — привязывает его к этим линиям.

Изображение не «скачет», даже если в объективе нет никаких объектов, кроме белого листа бумаги, а также при тусклом освещении

Для этой технологии разработчики создали нейросеть, которая «вырезает» руку из кадра. То есть в дополненной реальности пользователь её видит, а алгоритм, который отвечает за проекцию изображения, — нет.

В противном случае рука перекрывала бы нарисованные линии, а алгоритмы «забывали», относительно чего проецировать эскиз в дополненной реальности. В результате он скакал бы по всему листку.

Благодаря технологии безмаркерного трекинга эскиз лягушки остаётся стабильным, хотя художник перекрывает до 60% поверхности. При этом приложение не использует библиотеки ARKit и ARCore

Безмаркерный трекинг появится в SketchAR в апреле-мае 2019 года.

Продвижение

По словам Дробитько, у SketchAR около 150–170 тысяч активных пользователей, которых удалось привлечь без расходов на маркетинг и продвижение.

MVP SketchAR было готово к декабрю 2016 года. Команда решила показать возможности продукта и собрать обратную связь от пользователей.

Мы понимали, что выпустим приложение, которое не будет полностью готово. Но помнили про первое правило стартапа — если ты запустился и у тебя всё работает, то ты запустился слишком поздно.

Дробитько снял демовидео, которое «ничего не объясняло», а только намекало на возможность рисовать в дополненной реальности, сделал лендинг и опубликовал информацию о приложении на платформе Product Hunt.

Он не ждал особенного ажиотажа — ему было любопытно протестировать платформу и собрать обратную связь.

Вечером я всё это проделал и спокойно лёг спать. А потом проснулся посреди ночи от звука уведомлений.

В ту ночь к нам зашли на сайт и подписались около 5000 человек, и мы собрали первые 800 голосов на Product Hunt. В тот момент я, конечно, мягко говоря, удивился — ведь реальный запуск планировался только через четыре месяца.

Мы взлетели, стали продуктом дня на Product Hunt, а потом — заняли второе место в номинации «Лучшие AR-приложения года».

После этого с предпринимателем связались корреспонденты американских ИТ-изданий, включая Gizmodo, Fast Company и другие, а также представители 10–15 венчурных фондов.

Получив положительную обратную связь, команда продолжила разработку и весной 2017 года представила первую публичную версию приложения.

После публикаций о SketchAR узнали представители Apple. Они стали приводить приложение в качестве примера использования собственной технологии ARKit, и благодаря этой поддержке количество пользователей также росло.

Сейчас SketchAR сотрудничает с Huawei: компания открыла разработчикам доступ к API своей новой платформы HiAI Foundation, которая (помимо прочего) увеличивает быстродействие смартфонов при распознавании изображений.

По словам Дробитько, он заметил, что скорость работы SketchAR на флагманских устройствах Huawei (P20 и Mate) выросла на 20%, по сравнению с другими Android-смартфонами.

Кроме того, благодаря сотрудничеству стартап бесплатно посещает крупные ИТ-события (вроде прошедшей конференции Mobile World Congress в Барселоне). Это также помогает увеличивать количество пользователей.

Поскольку Дробитько много лет занимается стрит-артом, он знаком со многими современными художниками (например, с Покрасом Лампасом).

Начав разработку приложения, он предложил им стать амбассадорами проекта — то есть они первыми получили возможность использовать AR в работе в обмен на обратную связь.

Кроме того, художники рассказывали о необычном приложении своим подписчикам, что также выливалось в рост количества установок. «Работа с профессиональными художниками — это та история, когда один человек вдохновляет тысячу», — рассуждает Дробитько.

Монетизация

SketchAR зарабатывает благодаря фримиум-модели. В бесплатной версии пользователь может рисовать по контурам готовых эскизов. Чтобы открыть доступ к виртуальному помощнику и системе обучения, необходимо приобрести подписку: она стоит $3,5 в месяц или $15 на всю жизнь.

По данным Дробитько, из 150–170 тысяч активных пользователей подписку приобрели около 2% (от 3-3,5 тысяч человек). Из них 30% пользуются пожизненным тарифом, а 70% — ежемесячным.

Пока что сервис не вышел на окупаемость и компенсирует операционные расходы за счёт инвестиций: «Такие истории самостоятельно не делаются — чтобы никто не думал, что похожий продукт можно сделать в гараже», — рассуждает Дробитько.

Компания продолжает экспериментировать с моделью монетизации. Например, развивает сотрудничество с брендами. В ноябре 2018 года SketchAR провёл мероприятие для французского отделения компании Universal Pictures, посвящённое премьере мультфильма «Гринч».

Во-первых, в приложении появились брендированные эскизы с главными героями картины. Во-вторых, на премьере в Париже компания предложила детям и родителям нарисовать персонажей фильма на специальных стенах с помощью SketchAR и шлема дополненной реальности Microsoft HoloLens.

«Для обычных людей это что-то сверхъестественное — они видят голограмму на стене, обводят её и видят настоящее искусство здесь и сейчас», — рассказывает Дробитько.

Это мероприятие принесло SketchAR €30 тысяч. По словам Дробитько, выход на окупаемость — приоритетная задача для проекта, но гораздо больше его интересует развитие технологии распознавания сложных поверхностей, поскольку её потенциальное применение выходит далеко за пределы творчества и рисования с помощью SketchAR.

Сейчас разработчики устройства готовятся внедрить безмаркерный трекинг: «Это фундаментальная вещь, которая повлияет на всё — выручку, лояльность пользователей, порог входа», — заключает Дробитько.

Мнение эксперта

SketchAR — хороший пример реализации простой и понятной идеи с помощью AR. Но для этого нужна определённая сноровка, так как поначалу это очень непривычно — одной рукой держать смартфон, а второй рисовать, смотря через экран телефона.

Возможно, специальная насадка на камеру и стенд для телефона, как у проекта Osmo, сильно бы улучшили опыт взаимодействия с приложением.

Максим Козлов

Существует ли программа, которая рисует за тебя?

NIIIN