Путевой камень. Беседы

snormer — 23.09.2023

Обязана быть ещё третья дорожка. Есть, по ней сейчас направляется DALL-E.

Откуда вообще возникла необходимость использовать ControlNet в SD и «думанье за пользователя» в MJ? Те, кто работает с первыми рисовалкам, знает: они промптом управляются, а не разговаривают. Бесполезно писать просьбы и подробно описывать композицию, нейронка поймёт дай бог половину. Набор тегов и управляющих слов через запятую работает много надёжнее.

А почему? Вот ChatGPT сносно понимает речь даже с опечатками, в чём тут проблема? Да просто исторически: первые рисовалки больше заботились именно о рисовании, а за анализ промпта отвечал небольшой готовый энкодер CLIP, уже натасканый на LAION. Других и не было. MJ использовал что-то аналогичного размера. Такой небольшой нейронки и  хватало только на довольно простенькую разметку промпта.

Уже XL заметно прибавила в «уме», она способна понимать длинные промпты написанные почти натуральным языком и концепции оружия и инструментов. Только потому, что в пару к старому добавили ещё один, большой OpenCLIP.

Но возвращаясь к ChatGPT. Он на пару порядков больше CLIPов и способен понять тонкие нюансы промпта и упаковать это всё в вектор. Более того, он тренировался как мультимодальный и способен принимать картинки на вход. Что будет, если использовать его или аналог?

Встречайте DALL-E 3, где за энкодинг промпта отвечает большая языковая модель. Благодаря этому, можно описывать картинку в мелких деталях, включая композицию и взаимное расположение элементов.

Также «мощности» внутренней размерности и блоков внимания тут хватает, чтобы упаковать в эмбеддинг вагон предметов и персонажей (SD 1.5 с трудом справляется с тремя):

Причём не обязательно «в статике»: тут все эти предметы попросили погрузить на серфера

Также просто происходит смена стиля, добавка и удаление персонажей и предметов.

При этом качество самих картинок пока заметно хуже того, что выдают MJ и SD. Но возможность полноценно управлять через промпт, натурально разговаривая с нейронкой, подкупает. Вот только привязка к ChatGPT намертво...

Оставить комментарий

Популярные посты:

cardemua

Топ-10 мест для незабываемых романтических свиданий

gaechka63

Каша на завтрак

365days

Ежедневный дайджест марафона #зимниесказки — 3 февраля

pro100_mica

Владимир Маяковский 1 февраля 1930 года

booky_moussy

Контрольная точка: Полночь

grazdano4ka

​***

pro100_mica

Юбиляр дня Исаак Дунаевский

radulova

Трамп и Путин договариваются насчёт Украины

dymontiger

Атмосферные фотографии из 90-ых (13.02.24)

• Ранее
• Архив