Обучение генеративной нейросети под стиль Джоанны Куинн

Джоанна Куинн (Joanna Quinn) — британская художница-аниматор, режиссёр и иллюстратор.

Её работы запоминаются своеобразным стилем, похожим на быстрые и экспрессивные карикатурные наброски.

Как студентка направления «Анимация», я часто обращаю внимание на художественное решение работ различных режиссеров. Работы Джоанны Куинн поразили меня с первого взгляда. Стиль этой художницы очень смелый и экспрессивный: небрежные линии контура, текстура карандаша. Джоанна создает выразительных персонажей иногда слегка преувеличивая их черты. Можно также заметить, что она не боится экспериментировать с ракурсами и формами. Характерной особенностью стиля также являются приглушенные и слегка растушеванные цвета.

Мне стало интересно проанализировать основные особенности изобразительного стиля Джоанны Куинн и обучить им модель искусственного интеллекта, чтобы затем попробовать создать изображения в похожем стиле.

Так как сейчас в городе постепенно наступает весна, мне захотелось отразить её и в итоговой серии изображений. Таким образом, я постаралась показать в финальной версии картинок героиню, наслаждающуюся цветами и легкостью весенних дней.

Для обучения модели я взяла 73 изображения Джоанны Куинн. Некоторые иллюстрации были взяты с её сайта, а некоторые изображения были кадрами из её анимационных работ.

Обучение генеративной модели было выполнено в Google Colab.

Работу я начала с загрузки всех необходимых библиотек и обучающего скрипта с GITHUB

Следующим шагом было создание директории и загрузка датасета для обучения модели. С помощью функции image_grid, я проверила успешно ли отображаются загруженные изображения

Далее нейросеть должна была проанализировать изображения из датасета и написать для них промпты, для дальнейшего обучения. (Генерация описаний сделана с помощью модели BLIP)

После этого был выполнен сам процесс обучения модели. Он занял у меня около двух часов

Перед обучением я ввела токен, созданный на Hugging Face для записи обучающей модели. И после окончания процесса тренировки, модель была сохранена на там.

Далее я приступила к процессу генерации изображений с помощью промптов

Поначалу нейросеть выдавала очень похожие и слишком гладкие изображения. Однако, в них узнавался характерный стиль Джоанны: округлые черты лица, маленькие глаза и большой пухлый нос, приоткрытый рот, очки и рыжие волосы.

Промпты: — a girl is studying — a young girl is talking on the phone — a woman is hugging a dog

Некоторые изображения получались более экспрессивными.

Промпты: — a man is screaming — a woman is smiling

Поэкспериментировав с настройками модели lora, удалось немного скорректировать стиль рисовки.