Generating a girlfriend in Stable Diffusion | The simplest guide | improving photo quality

Приветствую. В этой статье я подробно расскажу и покажу как создать Lora с нуля, разберется даже человек, который про это почти ничего не знает. В этой статье не будет никаких пояснений сложных терминов и бесполезных объяснений настроек, которые вы забудете сразу после прочтения. Если вы опытный пользователь Stable diffusion - вам вряд ли подойдет эта статья.​

Кратко про Lora

Модели LoRA — это небольшие обученные модели для Stable Diffusion, которые вносят дополнительные изменения в генерацию изображений

Что нам понадобится для создания своей Lora?

1) Фото человека, которого хотим генерировать в SD. Немаловажно чтобы хорошо было видно лицо, не было лишних чужих конечностей или одежды и на фотографиях не было фильтров (если качество плохое - не беда, в статье будет пояснение как это можно исправить). В идеале - около 20-40 штук. Однако, я успешно обучал Lora и с 3 фото.
2) Гугл аккаунт для использования Colab
3) Установленный локально Automatic1111 для проверки обученной Lora

Для начала установим Automatic1111 локально на пк. На github есть простейшая инструкция, которую не вижу смысла дублировать, оставлю лишь ссылку - https://github.com/AUTOMATIC1111/stable-diffusion-webui#installation-and-running

Установили? Отлично, теперь приступим к сбору фото. Тут все зависит от того, какие соц сети использует выбранный вами человек и так далее. Можно спокойно использовать фото скачанные из инстаграма (если нет лучшей альтернативы), несмотря на то, что качество там обычно очень плохое. Расширение фото не должно быть ".webp"
Ниже приведу пример подходящего фото и плохого фото (я для статьи взял "Марию Белову" из сериала "Универ", потому что очень большое количество актрис уже есть на Civitai, и делать одно и то же не вижу смысла):​

Хороший и плохой пример

На фото нет ничего лишнего, актриса смотрит в камеру, качество в оригинале приемлемое.


А на этом фото 3 человека, отражение в зеркале и на стенах лифта, плохое зернистое качество. Такое фото лишь испортит итоговую Lora.

Когда лучшие фото собраны, приступаем к созданию полноценного датасета - для этого нам и понадобится гугл аккаунт.
​

Создание датасета в Colab

1) Переходим по ссылке (не реклама, я не владелец данного инструмента, за возможные утечки информации не отвечаю)
2) Вводим название нашей Lora (без разницы какое, главное чтоб вы понимали что это за файл) и нажимаем на отмеченную стрелку

3) Если вы видите эту надпись - на вашем гугл диске создалась папка, куда мы должны будем перенести отобранные фотографии для последующего удобного взаимодействия с ними

4) Переносим фото по указанному пути


5) После загрузки переходим обратно в колаб к пункту "Tag your images", в "method" выбираем "Photo captions" и стираем все "blacklist tags". Остальное оставляем как было. После этого - запускаем скрипт. Придется немного подождать, пока инструмент скачает необходимые файлы для описания ваших изображений


Если видите такую надпись - шаг успешно выполнен.

6) (Не обязательно!) Переходим к пункту "Curate your tags", там пишем любой набор букв, введя который в промптах в stable diffusion вместе с Lora, вы в генерациях будете получать похожие результаты на те, что в датасете.

Остальное оставляем как есть, запускаем скрипт.


шаг успешно выполнен.

Работа с фото закончена, переходим непосредственно к началу тренировки Lora. Ссылка (не реклама, я не владелец данного инструмента, за возможные утечки информации не отвечаю)​

Настройка тренировки

1) Вводим название нашей папки, которое вводили в первом пункте прошлой инструкции


2) Выбираем модель, на которой будет тренироваться Lora. Так как у нас реальный человек (а не аниме) - выбираем stable diffusion из списка


3) Выбираем "resolution" - описывать механизм работы этого пункта не буду. Я обычно останавливаюсь на 768 или 1024

Больше ничего не трогаем и запускаем скрипт. Процесс обучения будет не быстрым (чем больше фото - тем дольше).


Примерно так выглядит успешное начало тренировки.

Что делать после запуска тренировки

В папке с названием, которое вы вводили в самом начале появится папка "outputs", в нее будет сохранятся наша Lora. Всего их будет 10 (либо больше или меньше, это регулируется в настройках тренировки, но делать больше 10 обычно смысла нет). Lora с припиской "-01" (например: AnnaKhilkevich-01.safetensors) еще слабо обучена фотографиям, поэтому вряд ли выдаст вам ожидаемый хороший результат. Чем выше этот "приписка", тем сильнее модель обучилась фотографиям. Приемлемый результат обычно начинается с пятой версии Lora. Ниже я покажу, как из всех десяти лор подобрать лучшую и как вообще с ними работать.

Проверяем результат тренировки

Начали появляться такие файлы? Отлично, значит процесс идет полным ходом. Не дожидаясь конца тренировки, можно скачать файл и протестировать его. Я скачаю пятую версию. После скачивания, переносим файл в папку по следующему пути: D:\VASHAPAPKA\VASHAPAPKA2\stable-diffusion-webui\models\Lora

После переноса открываем webui-user.bat, вводим следующий промпт в верхнюю панель (positive): "photo of a woman, upper body, looking at viewer," далее переходим в пункт "Lora" вводим в поиске название файла (то, которое писали в самом начале) и нажимаем. Если вы точно уверены что перенесли файл по нужному адресу, а его нет, нажмите на кнопку "Refresh"

В итоге мы должны получить следующий positive prompt: photo of a woman, upper body, looking at viewer, <lora:AnnaKhilkevich-05:1>
в панельку пониже (negative prompt) можно добавить следующее: "worst quality, low quality, lowres, blurry, Disfigured, fat, obese, asian,"
Также не забываем прописать разрешение генерируемой картинки и так далее:
Когда все сделано - запускаем генерацию.

Генерации с пятой версией Lora (лолз ест качество)

Это результаты, полученные без каких либо улучшений и обработки. Как по мне, результат более чем приемлемый, поэтому остановлюсь на пятой версии лоры.

Улучшаем качество реальных фото

Это будет краткий и простейший пример в несколько действий.
1) переходим во вкладку Extras
2) Переносим изображение, которое надо улучшить
3) Следуем настройкам на скриншоте ниже


Со значением GFPGAN Visibility можно поиграться, а Upscaler 1 рекомендую оставить именно этот. Однако, если на выходе вы получили зернистое качество всего кроме лица - можете поставить "Upscaler - none" и оставить активным лишь GFPGAN.

Как выбрать лучшую версию Lora из десяти полученных?

1) скачиваем все версии (или только с пятой по десятую) лоры. Отправляем их в нужную папку. В примере будет показан тест с пятой по седьмую.
2) в Stable Diffusion выбираем script "X/Y/Z plot"


3) в поле "x type" выбираем "Prompt S/R"
4) в "x values" пишем все лоры через запятую, которые будем тестировать: <lora:AnnaKhilkevich-05:1>, <lora:AnnaKhilkevich-06:1>, <lora:AnnaKhilkevich-07:1>
5) в промпт пишем следующее: photo of a woman, upper body, looking at viewer <lora:AnnaKhilkevich-05:1>
6) запускаем генерацию
на выходе мы получаем следующее:

Как по мне, 5 и 6 версия справились лучше всего.

Какую модель я использовал в генерациях и немного фишек

я использовал https://civitai.com/models/158621/the-truality-engine , как по мне эта модель очень неплохо работает с простыми реалистичными Lora. Также, если вдруг ваш сгенерированный персонаж оказался толще или худее оригинала - попробуйте использовать https://civitai.com/models/112552?modelVersionId=126824 , инструкция по работе с этой лорой есть в описании на сайте.

Если лицо на генерациях получается плохо (обычно на фотографиях "в полный рост") - используйте ADetailer
Полезные Embeddings чтобы не писать длинный негативный промпт - BadDream, easynegative, bad-hands (если руки получаются совсем плохо)
Реалистичные лоры можно использовать на аниме моделях (например https://civitai.com/models/90642/animesh ), получается очень неплохой результат

Спасибо за прочтение. Если остались вопросы - задавайте в комментариях.