Делаем DeepFake на профессиональном уровне

rm_rf · 23 окт 2022

Всем привет! Сегодня я покажу 2 способа создания довольно неплохих дипфейков для ваших нужд.

Для этого нам понадобится:

64 гб оперативной памяти или быстрый ssd для файла подкачки

+- актуальная видеокарта (можно использовать до 5 видюх одновременно или обрабатывать всё на одной)

исходники для дипфейка в +- одном освещении

Начнём с Live версии нашей программы.

Установите самую новою версию драйвера для вашей видеокарты, далее заходим в настройки Windows, переходим в пункт "О системе" далее в "Дополнительные параметры системы"
и далее по этому пути

откроются настройки виртуальной памяти aka файл подкачки, снимаем галочку с "Автоматически выбирать объём файла подкачки", выбираем диск и тыкаем пункт "Указать размер"

ставим от 32гб и более (я поставил 40), нажимаем ОК везде и перезагружаемся

Заходим сюда: https://github.com/iperov/DeepFaceLive#releases и скачиваем откуда вам удобно
Пояснение:

DeepFaceLive_DirectX12_build_10_08_2022.exe
- для видеокарт от AMD

DeepFaceLive_NVIDIA_build_10_08_2022.exe
- для видеокарт от NVIDIA

Далее скидываем exe файл на рабочий стол и запускаем его

ВНИМАНИЕ! Выбираем именно корень любого диска! Иначе работать не будет!
Распаковываем.

Переходим в корень диска, куда вы установили программу и заходим в папку
DeepFaceLive_NVIDIA
(или
DeepFaceLive_DIRECTX12
)
Запускаем
DeepFaceLive.bat

Первый запуск может быть долгим, ждём.
Пройдёмся по пунктам для того, чтоб оно просто работало:

- Для источников в виде видеофайлов или фото.
Если хотите анимировать видео, то выбираем всё как у меня, но выбираем другой путь до файла с помощью кнопки

- Для захвата видео с камеры, выбирайте камеру в пункте
Device index

Для этой настройки должен быть включён лишь один из двух вышеперечисленных пунктов!

- определитель лица, советую оставить всё как есть, кроме
Device
, там выбирайте свою видеокарту

- определитель мимики, ничего не трогаем
Для этого пункта должны быть включены оба пункта из вышеперечисленных.

- маркер лица, меняем только
Device
на свою видеокару

- аниматор, в нашем случае не нужен (нужен если нужной модели лица нет в след пункте)

- сваппер на обученной модели, тут выбираем
Device
и
Model
(я выбрал Mr. Bean, при первом запуске программа сама скачает модель)
Для данного пункта нужно включить только
Face marker
и
Face swapper

-

Median blur
:блюр по краям заменённого лица (теребим настройку, если не довольны результатом)

Degrade bicubic
: Уменьшите размер всего кадра с помощью бикубического изменения размера. (можете по приколу подёргать)

- Мерджер лица, меняем только
Device
на свою видеокарту

- Настройки вывода, ниже будет окно, но вы можете вывести поток в окно или запустить udp стрим (для демонстрации ничего не трогаем)

Настройки полностью:

Для запуска дипфейка с видео наживаем эту кнопку с самого первого пункта

Итог:

Да, лагает, но это потоковая обработка и моя 1660ti тупо не вывозит, поэтому есть второй способ с более гибкими настройками

Способ два: собираем 2 исходника, учим модель и делаем дипфейк

Переходим в настройки windows, пункт "Дисплей", "Графика", "Изменение стандартных параметров графики"

И тут включаем этот пункт:

Перезагружаемся.

Переходим, качаем https://github.com/iperov/DeepFaceLab#releases

(любой из Windows)
Пояснение к файлам:

DeepFaceLab_DirectX12_build_05_04_2022.exe
- для видеокарт от AMD

DeepFaceLab_NVIDIA_RTX3000_series_build_11_20_2021.exe
- для видеокарт 3000 серии от NVIDIA и выше

DeepFaceLab_NVIDIA_up_to_RTX2080Ti_build_11_20_2021.exe
- для видеокарт до RTX2080Ti и включительно

Качаем exe, кидаем на рабочий стол и запускаем, выбираем корень диска (Важно, без этого работать не будет)

После распаковки зайдите в папку
DeepFaceLab_NVIDIA.....

Тут мы увидим много файлов, но запускать будем только некоторые
Сначала зайдите в папку
workspace

Там есть 2 файла:

Это наше видео на которое будет накладываться дипфейк
В моём случае это видео с Пашей, но вы можете закинуть туда любое видео

Это наше видео с которого нейронка будет брать лицо для дипфейка (будет накладывать это лицо на data_dst)
В моём случае это видео с Илоном, но вы можете закинуть туда любое видео

Есть несколько требований к видео
data_src
и
data_dst
:

В видео должно фигурировать лишь 1 лицо

В видео лицо человека должно быть чётко различимо

Желательно, чтоб в видео фигурировала вся мимика лица (моргание, улыбка, груть, разговор и т.п.)

Желательно, чтоб был поворот лиуа по всем плоскостям

Желательно, чтоб оба видео были сняти при одинаковом освещении ()

Порядок выполнения файлов:

1) clear workspace.bat

2) extract images from video data_src

3) extract images from video data_dst FULL FPS

4) data_src faceset extract

5) data_dst faceset extract

6) train Quick96

7) merge Quick96

8) merged to mp4

При выполнении, скрипт будет задавать вопросы по настройкам, если хотите использовать настройки по умолчанию, то на каждый вопрос нажимваем кнопку
Enter

Выполняем все файлы по порядку, я остановлюсь на некоторых, в которых скрипту нужна помощь человека:

После выполнения пункта 5, нам надно зайти в папку
workspace
, и пройтись по папкам
data_src
и
data_dst
, в каждой из них будет папка
aligned
, в которой должны быть только лица!

Далее, при выполнеии пункта 6 появиться окно, в котором будет виден процесс обучения (чтоб обновить статистику нажмите клавишу
p
)
Тренеруйте столько, сколько посчитаете нужным, а вообще чем сложнее мимика лица, тем больше времени на тренеровку надо. Когда решите закончить тренеровать, то нажмите
enter
. Позже вы сможете доучивать модель, когда вам удобно(просто перезапустите пункт 6).

После выполнения пункта 7 скрипт скажет подровнять маску дипфейка

Нажмите кнопку
Tab
и приступим к подгонке:

Обрезайте юбку маски с помощью клавиш
W
и
S

- до
- после

Добовляйте блюр на края юбки для более лучшего эффекта

- до
- после

Сохраните кфг нажатием

Примените кфг для всех остальных фреймов нажатием

Остальное скрипт сделает сам, после выполнения пункта 8 в папке
workspace
появиться файл
result.mp4

Готово

P.S. именно с помощю этой программы делается этот сериал

Дисклеймер: я не делал цветокоррекцию, использовал стандартные параметры и просто мало тренеровал нейронку, поэтому результат получился не особо хорошим, но всё в ваших руках!

Следущая статья будет о дип фейке голоса, поэтому ждите. А так вы можете уже сейчас освоить эту программу и делать реальный ca$h