3 день: Рерайтер картинок - ControlNet в Stable Diffusion

kvisaz — 24.02.2023 Это третий день с домашним Stable Diffusion.
- Первый день вызвал у меня сильное возбуждение и ажиотаж.
- Второй день занятий вызвал глубокое разочарование, сегодня даже запускать нейронку не хотел, настолько было сильным чувство, на грани отвращения. Почему это произошло? Из-за чувства беспомощности и полной потери контроля, когда я увидел, что творится с анатомией и как на самом деле нейронка реагирует на слова (не так, как хочется).

Сегодня нашел рабочий воркфлоу намбер ван. Это мутатор картинок, рерайтер графики. Плагин ControlNet к Stable Diffusion.

В качестве подопытной выступает вот эта девушка, которую я случайно нашел, экспериментируя со словом Giger.




Инструкция
1. Локальная установка Stable Diffusion - рисовальной нейронки
2. В ней ставится плагин ControlNet, минимум с двумя уровнями
3. первый уровень этого плагина ставится на GuessMode
- это позволяет ему понять, что нарисовано на картинке и повторять его в генераторе txt2img
4. в этом же первом уровне ставится "копировать глубину" - depth
5. на втором уровне ставится "края" - canny, только с Guidance Strength небольшой, иначе будет слишком резко

Эти два уровня читают карту глубины и края контрастности на фото, выглядит это так



Это позволяет практически копировать композицию один в один, без ручных манипуляций и ухищрений.

Guess Mode в Control Net - это встроенный допрашиватель, то есть он распознает что находится на картинке и под капотом формирует подходящий промпт.

Работа идет в окне txt2image. Промпт можно оставить пустым. А можно ввести дополнительные пожелания к стилю.

Можно использовать только 1 слой ControlNet с depth. Это дает очень сильную мутацию но с той же композицией. Слой с Edges добавляет точности.

Мои настройки были такими. Обратите внимание на Guidance Strength - оно влияет на степень наложения. Во втором слое я его сильно снизил, до 0.05, иначе края проступали как резкие очертания. Возможно, я где-то ошибся. Или такой эффект.



Далее другие результаты в формате
- промпт
- условия генерации
- картинка

Если скопировать текст с промптом и условиями генерациями в окно текстового ввода и нажать кнопку со стрелочкой, настройки применятся, кроме модели - ее качать и ставить отдельно.

Погнали:

anime, Kuvshinov, miyazaki
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 76337687, Size: 960x720, Model hash: 44f90a0972, Model: protogenX34Photorealism_1, ControlNet-0 Enabled: True, ControlNet-0 Module: depth, ControlNet-0 Model: control_sd15_depth [fef5e48e], ControlNet-0 Weight: 1, ControlNet-0 Guidance Strength: 1, ControlNet-1 Enabled: True, ControlNet-1 Module: canny, ControlNet-1 Model: control_sd15_canny [fef5e48e], ControlNet-1 Weight: 1, ControlNet-1 Guidance Strength: 0.05





nude, shower, rain, atmosphere, hdr, realistic
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 12, Size: 640x480, Model hash: fcfaf106f2, Model: uberRealisticPornMerge_urpmv12, ControlNet-0 Enabled: True, ControlNet-0 Module: depth, ControlNet-0 Model: control_sd15_depth [fef5e48e], ControlNet-0 Weight: 1, ControlNet-0 Guidance Strength: 0.2




Знакомый из первого дня экспериментов. Оригинал фото (за исключением аниме-уголка) выглядел вот так


Я его мутировал много раз вот так



Глубина для оригинала была такой


Поэтому пальцы все-таки ползли иногда.




Выводы
1. Каждая вещь в мире много чего не умеет. Надо искать то, что они умеют, в чем они хороши.
2. Двухслойный ControlNet в Stable Diffusion (depth + 0.2 canny) умеет в стилизацию. Умеет в смену одежды, цвета, бэкграунда. Можно использовать для творческого поиска.
3. ControlNet не абсолютная панацея от плохой анатомии. Но она намного, намного выше поднимает планку в правильно отображении тел.

Это только первый из найденных приемов с высокой степенью контроля и автоматизации. Второй слышал, третий читал, четвертый примечаю, а пятый мерещится*

*отсылка к сказке про девочку, которая не умела искать ягоды, но потом её научили

Оставить комментарий

Популярные посты:

• Ранее
• Архив