Концепция
Для обучения генеративной нейросети я выбрала стиль автора оригинальных иллюстраций к «Алисе в стране чудес» — Джона Тенниела. Цель проекта: обучить модель для создания изображений в стиле Джона Тенниела.
Было использовано около 90 изображений. Я выбрала автора, чьи работы уже стали культурным наследием, во избежание этических проблем и вопросов.
Оригинальные иллюстрации Джона Тенниела
Его работы можно описать как графичные иллюстрации с узнаваемой штриховкой и параллельными линиями на заднем плане. Люди и животные обладают более простыми чертами, чем в реальности. Часто можно встретить композицию из множества предметов, практически сливающихся в одно целое.
Описание применения генеративной модели: Процесс обучения
При работе над проектом были использованы Stabble Diffusion, Kaggle, Hugging face, доп. ГенИИ не был использован.
Запуск окружения, установка библиотеки bitsandbytes и diffusers, загрузка train_dreanbooth_lora
Загрузка датасета для обучения модели, создание директории для собственного датасета, настройки для просмотра датасета
Просмотр датасета
Создание пары «Путь к картинке — картинка» и файла с подписями к изображениям
Использование токена HuggingFace, обучение, которое занимает около 60 минут
Загрузка, использование модели и пример промпта
Генерация изображений
Сначала была создана серия изображений в черно-белом стиле, изображающая объекты и персонажей, подходящих по смыслу произведению и оригинальным иллюстрациям, например, королевы и шахматные фигуры.
Для создания промпта перед основной частью прописывалось «illustration in ALI style».
prompt: 1. «Fortune teller» 2. «Beautiful woman» 3. «Crying girl» 4. «Portrait of a young prince dressed in a Middle Ages style. He holds a sword in his hands»
prompt: 1. «Scary Queen» 2. «Portrait of Scary Queen of Hearts with hair done in a Middle Ages style, she is wearing a beautiful ball gown»
prompt: 1. «Bottle of wine» 2. «Chess figures as people»
prompt: 1. «Mouse Sonya from Alice in Wonderland» 2. «White Rabbit from Alice in Wonderland» 3. «Kitten» 4. «Beagle dog»
prompt: 1. «Giant dark dragon is flying above the castle» 2. «Giant dark dragon with 3 heads from slavic folklore is flying above the castle with his wings spread and breathing fire»
Чем сложнее промпт, тем точнее и правильнее изображение.
Была создана тестовая серия изображений знаменитостей. Стиль похож на Джона Тенниела, немного отличается размер штриховки из-за наличия большего количества мелких деталей.
prompt: 1. «Jensen Ackles» 2. «Sabrina Carpenter» 3. «Harry Styles»
Дополнительная мини-серия работ: известные картины в стиле Джона Тенниела. При сравнении оригинала и генерации можно отследить характерные признаки стиля: угловатость и четкость контуров предметов, ч/б или заливка тусклым цветом, штриховка.
1. prompt: «The Starry Night by Van Gogh» 2. «Звездная ночь», Винсент ван Гог, 1889 3. prompt: «Sunflowers by Vincet van Gogh» 4. «Подсолнухи», Винсент ван Гог, 1888
Итоговая серия сгенерированных изображений
Для итоговой серии была поставлена задача сгенерировать изображения знаменитостей с добавлением элементов, отсылающих к произведению «Алиса в стране чудес». Для женщин — розы, для мужчин — циферблаты. В изображения добавлены цвета, наиболее подходящие личностям соответственно. Цвет закрашивает предметы и иногда придает оттенок иллюстрации.
Megan Fox
Kendall Jenner
Kylie Jenner