[ГАЙД] RobustVideoMatting. Используем нейросеть, которая удаляет фон

Robust Video Matting с легкостью в разрешение 4K убирает фон из видео. Нейронка работает настолько хорошо, что без каких либо знаний монтажа может вырезать фон между мелких объектов, например волос и самое прикольное, что она может запуститься даже на древнем пк.

Модель нейросети настроена на портретные видео и на видео в полный рост человека. Разработчики предлагают два варианта использования нейросети: первый - установка ее на компьютер с помощью анаконды и питона, второй - использование google colab (его мы и рассмотрим).​

Перейдем к самому гайду по этой нейронке:

1. Переходим по ссылке к проекту - https://github.com/PeterL1n/RobustVideoMatting
2. Переходим к google colab. Ссылка - https://colab.research.google.com/drive/10z-pNKRnVNsp0Lq9tH1...



3. Проверяем что в среде выполнения стоит GPU



4. Запускаем первый код. Как только появится кнопка "выбрать файлы", выбираем наше исходное видео, из которого будем удалять фон. Как добавили видео, ждем его полной загрузки.



5. Как видео загрузится, постепенно запускаем два этих кода. Запускаем первый - прогружается, запускаем следующий.



6. В этом окне изменяем параметр downsample_ratio. Если используем видео 1920x1080 в портретном режиме - ставим значение параметра на 0.25. Если используем видео 1920x1080 с человеком в полный рост - ставим значение параметра на 0.4. Я ставлю значение параметра на 0.25.

Параметр output_video. Его мы не трогаем, но если вы хотите удалить фон с фотографии, меняем значение video на png_sequence.

Параметр output_video_mbps, ставим его значение на 6.



7. Запускаем код и ждем обработки видео



8. После того как видео обработалось, мы можем его скачать. Оно находится в папке и называется com.mp4. Скачиваем его и довольствуемся результатом!



9. Результат до/после:




Моя телега про нейросети, все промпты и настройки для них там - https://t.me/neuralnexus1
​