Обучение генеративной нейросети под стиль цифровых ошибок
описание идеи
Я решила обучить генеративную нейросеть под стиль диджитал ошибки. Меня всегда интересовала роль случайного в искусстве — того, что не могло бы произойти намеренно, и от этого неповторимо. Я решила, что было бы иронично и полезно попробовать контролировать процесс появления этих ошибок: ведь обычно, когда я нахожу сбои в графических средах красивыми, я никогда не могу повторить полученный эффект самостоятельно.
примеры исходных изображений для обучения
процесс работы
Сначала я загрузила все необходимые для работы библиотеки. Далее я также загрузила датасет с заранее найденными изображениями в стиле цифровых ошибок и убедилась, что они действительно загрузились.
Затем для корректного обучения нейросети я создала подписи к каждой картинке, чтобы проверить, верно ли распознаются изображения.
После регистрации в системе Hugging Face я начала тренировку нейросети и выставила все необходимые параметры для быстрого и качественного результата.
После обучения я приступила к написанию промтов и генерации изображений, которые, в соответствии с идеей, будут результатом запрограмированного сбоя, искажения и заедания.
финальная серия
Я создала несколько изображений, чтобы проанализировать результаты и отобрала наиболее наглядные и удачные для финальной серии.
Первой я сгенерировала сцену из абстрактных простых форм, которые создавали бы большое количество непростых сломов, повторений и искажений. Целью было превратить базовый и минималистичный элемент в нагруженную картину, посмотреть, как работает глитч на объемных фигурах. Эти изображения не вошли в финальную серию из-за стилистической разрозненности, но были полезными для понимания работы нейросети.
Затем я решила сгенерировать изображение с более сложным, но все еще состоящим из простых форм элементом — ступенями. Описала более конкретную композицию, чтобы увидеть, насколько узнаваемой она останется — понять, насколько контролируемо изменение глитчем.
promt: «geometric landscape of stairs and planes with scanlines and pixel grid overlay, subtle posterization, calm palette, architectural clarity»
Далее я усложняла формы, смотрела, как именно они могут преломиться, «заесть».
prompt: «still life of sphere, cylinder, and plane, controlled datamosh streaks, pixel mosaic accents, balanced negative space, high detail»
prompt: «abstract city made of stepped terraces, aligned grids, gentle glitch stripes, muted colors, coherent lighting»
После усложнения форм я перешла к генерации полной абстракции, где можно было бы не следить за узнаваемостью форм, не добавлять в промт «minimalistic» или названия предметов и сцен.
prompt: «floating planes and frames, precise perspective, mosaic pixel seams, jpeg compression pattern, serene composition»
prompt: «architectural arch sliced by glitch bands, tiled grid shadow, color channel misalignment, soft ambient light»
Посмотрев, как нейросеть генерирует глитч на формах разной сложности и отличающихся сценах, я решила сгенерировать изображения, которые могли бы быть похожи на те, что я получаю в графических редакторах при ошибках в отображении.
prompt: «poster design with bold rectangles, controlled bitcrush texture, scanlines, chromatic shift on typography shapes (no readable text)»
prompt: «calm horizon split into layered rectangles, gentle rgb drift, subtle jpeg blocks, minimal color field composition»
Таким образом, серия изображений показывает разные абстрактные композиции и формы, полученные путем использования стиля цифровой ошибки, намеренного «сбоя». Многие изображения оказались очень похожими на исходные, повторяют их визуальный принцип «надлома». Получилось создавать как абсолютно абстрактные композиции, так и преломлять саму форму предметов, а также пейзажные сцены, сохраняя узнаваемость окружения. Первоначальная идея проекта не исказилась: контролировать и направлять процесс, наполненный случайностями искажений, получилось. Это полезно для создания подобных неожиданных абстракций — составить самостоятельно подобную композицию «случайно» без использования современных технологий было бы крайне сложно.
В результате обучения нейросеть: 1/ генерирует фрагментарные глитч изображения 2/ превращает глитч в материал, пространство и абстрактные композиции 3/ взаимодействует со сбоем как с визуальным языком
Использованные инструменты: Google colab — выполнение кода, генерация. Stable Diffusion — обучение нейросети под нужный стиль. Hugging Face — получения токена.
