Монтируем видео на облачном сервере в AWS / Хабр
Мой рабочий компьютер — Macbook Air 2020 (Intel), и его вполне хватает для написания кода и прочих задач. Однако, когда потребовалось смонтировать небольшой видеоролик, выяснилось что мощи моего ноута катастрофически не хватает, и я стал искать варианты.
Что я пытался сделать
Я не занимаюсь профессиональным монтажом видео, и впервые уткнулся в эту тему пытаясь сделать вот такой небольшой демонстрационный ролик для Teamplify (с озвучкой помог Мэтт, наш учитель английского):
На первый взгляд, тут ничего сложного — это же просто трехминутный скринкаст с озвучкой и парой незатейливых эффектов. Однако, видимо по неопытности, я встретил на этом пути какое-то неожиданное количество подводных граблей. После нескольких неудачных попыток, я пришел к трем важным выводам:
Обязательно нужен сценарий, и его важно написать заранее, продумав дословно все что будет говориться и делаться в кадре;
Записать это единым куском практически невозможно — то замешкаешься где-то, то ошибешься, то интернет подтупит;
Нельзя просто так взять и записать качественный звук в домашних условиях.
В итоге, конечный результат я собирал в After Effects из множества отдельных коротких видео, скриншотов, и аудио-фрагментов, которые подгонялись по таймингу, и на них накладывались эффекты с переходами:
Фоновую музычку изначально добавлять не планировал, но оказалось что она прекрасно маскирует не совсем качественную запись с микрофона, так что добавил.
Монтаж видео требует ресурсов
Мои попытки работать с видео на Macbook Air были похожи на мучение. Оказалось, что After Effects любит побольше памяти, и моих 16ГБ явно не хватало. Ноутбучный проц и слабая видюха также не улучшали картину. Превью в After Effects работало с сильными лагами. Финальный рендер трехминутного ролика занимал 3 часа (!!).
Если бы у меня был настольный игровой комп с видюхой и кучей памяти, наверное, приключения на этом бы и закончились, но у меня такого не было, а идея вложить в него пару тысяч долларов (да и вообще иметь такую бандуру дома) мне не нравилась.
Что нам может предложить AWS?
Мне он предложил примерно следующее:
Регион eu-north-1 (Стокгольм), пинг до меня ~30мс (я живу в Вильнюсе), до Москвы чуть побольше, но тоже неплохо — около 40мс;
Сервер g4dn.
2xlarge — 8 ядер, 32ГБ, Nvidia Tesla T4, 225 GB NVMe SSD;Образ винды с дровами от Nvidia;
Цену в $1.166 в час. И это кстати еще одна причина выбрать Стокгольм, ибо во Франкфурте на ~12% дороже.
2xlarge — 8 ядер, 32ГБ, Nvidia Tesla T4, 225 GB NVMe SSD;Разумеется, можно взять и побольше, и поменьше. На момент написания статьи цены в Стокгольме такие (инстансы с Nvidia Tesla T4, на винде):
Подготовка к работе
Для коннекта к серверу я использовал Microsoft Remote Desktop. Сначала я думал, что мне потребуются какие-то специальные клиенты, рассчитанные на стриминг видео, но оказалось что и обычный Remote Desktop неплохо справляется, никаких особенных лагов я не замечал.
Остается решить вопрос с диском и доставкой исходников на него. Тут амазона предлагает нам два варианта — EBS и Instance Store. Отличаются они следующим:
EBS — подключаемый сетевой диск, по надежности примерно как RAID 1. Такой диск в вашем сервере обязательно будет как основной, по умолчанию он небольшого размера (достаточного чтобы влезла операционка), но вы можете при желании его расширить.
Данные на EBS сохраняются и после выключения сервера. Платите вы за такой диск постоянно, даже если сервер выключен, в размере $0.0836 за ГБ в месяц (в версии gp3, burstable IOPS). У EBS есть
Данные на EBS сохраняются и после выключения сервера. Платите вы за такой диск постоянно, даже если сервер выключен, в размере $0.0836 за ГБ в месяц (в версии gp3, burstable IOPS). У EBS есть Instance store — так называемый “эфемерный” диск, который может идти в комплекте к некоторым типам инстансов. В частности, к g4dn.2xlarge прилагается 225 GB NVMe SSD. Он быстрый, производительность ничем не ограничена, однако данные на нем полностью пропадают при выключении сервера (при перезагрузке — остаются).
Поскольку монтаж видео активно использует и диск тоже, использование Instance store выглядело для меня более привлекательным.
По умолчанию он не монтируется как диск в Windows, поэтому нужно сделать небольшую настройку чтобы он автоматически подключался при запуске.
Когда диск готов, нужно как-то доставить на него исходники. Я использую для этого pCloud (аналог Dropbox), который установлен и на моем ноуте, и на облачном сервере. При старте сервера на нем запускается небольшой батничек, который инициализирует расшаренную папку pCloud (для исходников и результатов) и заодно создает папку для кеша After Effects:
mkdir Z:\"Teamplify Videos" mkdir Z:\"AE Cache"
После этого стартует pCloud, который синхронизирует папку “Teamplify Videos” с исходниками. Отрендеренный результат я пишу в ту же папку, и таким образом он попадает обратно на мой компьютер.
Как возможную альтернативу Dropbox / pCloud можно еще рассмотреть что-то вроде ownCloud с хранилищем на S3. Если исходники будут выкачиваться из S3 в том же AWS регионе, что и ваш сервер, то это должно быть очень быстро, что может иметь значение при большом размере исходников.
Ну и заключительный штрих в настройке — я добавил CloudWatch alarm, который автоматически выключает сервер после пары часов неактивности, чтобы не забыть его случайно включенным и не тратить деньги.
И как это все работает?
Да вроде неплохо. Превью в After Effects нормальное, без лагов. Поскольку пинг до сервера хороший, работа на нем почти не отличается от работы с настольным компьютером. Рендер того ролика, который у меня на ноуте выполнялся три часа, на g4dn.2xlarge делается за 13-17 минут. День работы на таком сервере обходится в несколько долларов.
Из побочных плюсов — я сохраняю мобильность с ноутом, и могу работать с видео откуда угодно, лишь бы были нормальные интернеты.
P.S. После опубликования этой статьи @Stas911 подкинул идею попробовать NICE DCV вместо Remote Desktop для подключения к серверу (для EC2 — бесплатно), и я попробовал. Работает 🙂 Запускайте сервер на базе NICE DCV AMI (версия для g4), не забудьте добавить роль инстансу чтобы оно перестало ругаться на лицензию, и установите EC2Launch v2 чтобы инстанс видел собственную мета-дату.
EC2Launch вам также понадобится чтобы подключить Instance store как диск в винде. Для этого натыкайте в нем мышкой галочку «Initialize» в разделе Volumes и перезагрузите сервер:
Компьютер для видеомонтажа 4К — системные требования и описание
- Главная
- Блог
- Для профессионалов
- Компьютер для монтажа в 4K
Категория: Рабочие станции
Системные требования программ для 4К видеомонтажа
| Процессор | Оперативная память | Видеокарта | Место на диске | |
|---|---|---|---|---|
| Adobe Premiere Pro | Intel Core i7 | 32 GB | 4 GB | 20 GB (SSD) |
| Adobe Premiere Elements | Intel Core i7 | 16 GB | Поддержка DX 9-10 | 16 GB (SSD или HDD) |
| Adobe After Effects | 4х3 GHz | 16 GB | Поддержка DX 9 | 5 GB (SSD) |
| Sony Vegas Pro | 8х2 GHz | 16 GB | 1 GB и больше, поддержка OpenGL | 1 GB (SSD) |
| Avidemux | 4х3 GHz | 8 GB | 512 MB | 1 GB |
| ВидеоМОНТАЖ | 4х3 GHz | 8 GB | 512 MB | 8 GB (SSD) |
| Movavi Video Editor | 4х2,8 GHz | 8 GB | поддержка OpenGL 2. 1 | 2 GB |
| Lightworks | Intel Core i7 | 8 GB | 1 GB, Поддержка DX 9 | 200 MB |
| Corel VideoStudio Pro | 4х2,8 GHz | 8 GB | 256 MB | 3 GB |
| Avid Media Composer | Intel Core i7, Intel Xeon | 32 GB | NVIDIA Quadro | SSD+HDD от 100 GB |
Не все системные требования взяты с сайтов разработчиков. Для некоторых маленьких программ вроде Avidemux требования к железу для работы с 4К-видео не указываются. Софт Adobe для видеомонтажа протестирован с топовыми специальными видеокартами: NVIDIA Quadro, NVIDIA GeForce Titan, NVIDIA GeForce GTX, AMD Radeon FirePro, AMD Radeon Vega PRO, AMD Radeon PRO. Маленькие студии не могут позволить себе такие дорогостоящие тесты, тем более если речь идет о бесплатной программе.
Охлаждение
При рендеринге ваш компьютер будет нагружен до предела в течение некоторого времени. Очень сложные задачи могут загрузить его на несколько часов и даже на всю ночь.
Процессор или видеокарта (в зависимости от того, что вы используете для рендеринга) будут греться. В корпусе должен быть создан достаточно мощный воздушный поток, чтобы температура не росла при высоких продолжительных нагрузках. К примеру, игровые ПК не так подвержены поломкам от высокой температуры, так как игры не могут загружать их на 100% в течение длительного времени.
Во всех процессоры и видеокарты встроена защита от перегорания: когда температура станет критической, ПК просто выключится. Этот неприятный момент может испортить вам готовый проект или нарушить срок его сдачи. Поэтому правильная система охлаждения – очень важный момент, нельзя относиться к этому пренебрежительно.
Компьютеры для монтажа в 4K
Разработка пользовательских простых редакторов с помощью программного обеспечения
Этот веб-сайт предоставляет pegRNAs и вторичные sgRNAs для основных редакторов PE2, PE3 и PE3b для ClinVar патогенные варианты человека.
Если вы используете какие-либо ресурсы, доступные на этом веб-сайте, укажите:
Автоматизированный дизайн основных редакторов CRISPR для 56 000 вариантов патогенов человека Джон А.
Моррис*, Джахан А. Рахман*, Синьи Гуо, Невилл Э. Санджана Краткое руководство:
- 1) Нажмите на Дизайнер главного редактора вкладка выше.
- 2) Введите символ гена или идентификатор ClinVar. Инструмент будет разрабатывать pegRNAs и
- 1) Нажмите на Индивидуальные главные редакторы ClinVar вкладка выше.
- 2) Введите все необходимые параметры дизайна (список генов, шаблон PAM, размер PBS и размер RTT) и укажите адрес электронной почты для отправки результатов дизайна.
- 3) Нажмите Дизайнерские главные редакторы и дождитесь подтверждающего сообщения. Ссылка для скачивания будет отправлена на указанный адрес электронной почты после завершения выполнения алгоритма проектирования.
- 1) Нажмите на Главный редактор Weekly ClinVar
- 2) Массовая загрузка основных редакторов, щелкнув адрес ссылки или используя «wget», а затем адрес ссылки (щелчок правой кнопкой мыши + «копировать адрес ссылки»).
Лаборатория Санджана
Пожалуйста, выберите поле для поиска:
Генный символ Идентификатор варианта ClinVar
Первичное редактирование, чтобы сделать:
Модель заболевания ТерапевтическийВсе
Показать PE3(b) sgRNAs:
по крайней мере с 1 оптимальной пегРНКпо крайней мере с 1 пригодной к использованию пегРНКпо крайней мере с 1 пегРНКпоказать все sgРНК PE3(b)
Выберите сайт PAM:
Все НГГ НГ
Показать реагенты без нецелевых показателей (Хсу-Скотта)?
Да Нет
Введите минимальное количество очков вне цели (Хсу-Скотт):
- ПЭ2
- PE3
- PE3b
Отфильтровать отображаемые пегРНК по:
Предпочтительная и нецелевая оптическая пегРНКПредпочитаемая пегРНКЛюбая пегРНК
Скачать пегРНК PE2
Скачать PE3 sgRNAs
Скачать PE3b sgRNAs
Лаборатория Санджана
Пользователи, чьи требования к дизайну не отражены на вкладке «Конструктор основного редактирования», могут создать здесь основные редакторы ClinVar в соответствии со своими потребностями, которые будут отправлены им по электронной почте.
Укажите список символов генов, разделенных запятыми:
Выберите шаблон PAM:
НГГ
НГ
SpRY без PAM
Дизайн NG-PAM увеличит количество целевых вариантов и количество pegRNAs/sgRNAs, разработанных для каждого варианта, но займет больше времени для разработки. Дизайн без PAM восстановит практически все варианты, но на их создание уйдет больше всего времени.
PBS Размер:
Увеличение размера PBS и RTT приведет к увеличению количества целевых вариантов и количества pegRNAs/sgRNAs, разработанных для каждого варианта, но займет больше времени для разработки.
Размер RTT:
Укажите адрес электронной почты для отправки результатов:
Лаборатория Санджана
Пользовательские сценарии R могут быть адаптированы для разработки основных редакторов для любых видов, как показано в нашем руководстве (на примере дизайна основного редактирования в рыбках данио).
После создания pegRNAs и sgRNAs с помощью R-скриптов мы оцениваем показатели соответствия/нецели (и пересечения с распространенными вариантами dbSNP, если это применимо), используя сценарии, перечисленные в разделе
Флэш-анализ
и
анализ пересечения
каталоги соответственно.Sanjana Lab
Благодарим вас за использование веб-инструмента Prime Editing Design.
Весь исходный код для нашей работы доступен на нашем Гит архив. Мы также приветствуем обратную связь или вопросы: напишите нам по адресу [email protected].
Связанные ресурсы:
Для тех, кто заинтересован в разработке других типов реагентов CRISPR для автономного использования или мультиплексных подходов в сочетании с основным редактированием, воспользуйтесь другими нашими онлайн-инструментами:
Sanjana Lab
CRISPR RGEN TOOLS
HOMO SAPIENS (GRCH48/HG38) — ЧЕЛОВЕК
HOMO SAPIENS (HG19) — Human
MUSCULUS (MM10) — MOSE
. BOSTAURUS (BOSTAU7) — BOSTAU7). знакомый (canFam3) — Собака
Rattus norvegicus (rn5) — Крыса
SUS SCROFA (SUSSCR11) — PIG
DANIO RERIO (DANRER7).
Западная шпорцевая лягушка
Xenopus laevis (JGI 7.1) — африканская шпорцевая лягушка
Cricetulus griseus (v1.0) — китайский хомяк
Xenopus tropicalis (JGI 8.0) — западная шпорцевая лягушка
Xenopus tropicalis (JGI 9.0) лягушка
Xenopus laevis (JGI 9.1) — африканская шпорцевая лягушка
Macaca fascicularis (5.0) — макаки-крабоеды
Danio rerio (GRCz10) — данио
Rattus norvegicus (Rnor 6.0Equusall) — крыса 9003 — Лошадь
Oryctolagus cuniculus (orycun2) — кролик
Mesocricetus auratus (Mesaur1.0) — Золотой хомяк
Felis Catus (6.2) — Cat
Mochrtus Ochrogaster (Ahzw01) — PROSLE
MOCHRTUS OCHROGASTE Корова
Callithrix jacchus (calJac3) — игрунка
Pimephales promelas (SOAPdenovo v. 2) — толстоголовый гольян
ovis_aries (Oar_v3.1) — овца
Chlorocebus_sabeus (AQIB01) -Gallalus 2 зеленая обезьяна 9003
Oreochromis niloticus (ASM185804V2)
Capra Hircus (ARS1) — GOAT
Peromyscus maniculatus (Pman_1.
0) — North American Deer Mouse
Macaca Mulatta (Mmul_8.0.0.0.0.0.0.0.0.0.0.0.0.0.03.031.10. — Китайский хомяк
Cavia porcellus (Cavpor3.0) – морская свинка
Danio rerio (GRCz11) – рыбка данио
Mus musculus (mm9) – мышь
Anas platyrhynchos (BGI_duck_1.0) – утка
5.Gallus— Chicken
Salmo salar (ICSASG_v2) -Atlantic salmon
Cyprinus carpio (common carp genome)
Oncorhynchus tshawytscha (Otsh_v1.0) — Chinook salmon
Human Mitochondria genome (NC_012920.1)
BalbC/J mouse Mitochondria геном (AJ512208.1)
Bos taurus (ARS UCD1.2)
Paralichthys olivaceus (Flounder_ref_guided_V1.0)
Myotis lucifugus (Myoluc2.0)
Rousettus aegyptiacus (Raegyp2.0)
Tree shrew (TS_20 long-read)
Ambystoma Mexicanum (ASM291563V2) -Axolotl
Gallus gallus (GRCG6A) — Цыпленок
Ictalurus punctatus (ipcoco_1.2)
Mustela putorius furo (musputfur1.
0) -Ferret
313113131313131313131131131311313131131313113113113113131131311311313113113113113131131131131131131311311311311313113113131131131131131.0031 Macaca Mulatta (Mmul_10)
Macaca Fascularis (macaca_fascularis_5.0)
Pagrus major (pmaj_1.0)
Petromyzon_marinus ()
Homo sapiens (CHM13 T2 T2 -v13 -v13. .0) — Овца
Equus caballus (EquCab3.0) — Лошадь
Epinephelus coioides () — Оранжево-пятнистый групер
Anabas testudineus (fAnaTes1.2) — Альпинистский окунь
Bubalus 90scrofalis (NDDB90SH031) (Большой белый v1 от ансамбля) — поросенок
Homo Sapiens (T2T_CHM13V2) — Human
Salmo Salar (USDA_NASSAL_1,1) — Атлантический лосось
VULPES LAGOPUS (ASM1834538V1) -ARCCTION FOX
TAKIFUGUSIPREPERSERIP11.ERMERIPSERIP13.131313.1334538V1) -ARCCTION FOX
TAKIFUGUSIP) (ASM1834538V1).
Eptesicus fuscus (EptFus1.0) — Большая коричневая летучая мышь
Pteropus alecto (ASM32557v1) — Черная летучая лисица
Oncorhynchus mykiss (USDA_OmykA_1.
