В ходе изучения курса мне стало интересно до-обучить модель всемирно известному стилю японской графики эпохи Эдо — укиё-э, и посмотреть, что было бы, если бы динозавры все еще существовали с нами на Земле: как бы они вписались в эти мирные пейзажи?
формат 512×512
Для начала я подобрала 28 изображений нескольких японских художников, характерных стилю укиё-э. Я старалась отбирать похожие друг на друга картины, а также именно тех художников, которые в первую очередь ставили акцент на пейзаже и изображении животных (например, здесь представлены работы Ясима Гакутэя, Кацусика Хокусая, Огата Гэкко и Судзуки Харунобу), чтобы нейросеть смогла правильно подобрать стилистику к рисованию динозавров. Я обрезала все картины к единому квадратному формату на 512 пикселей, чтобы сократить время обучения модели, поэтому на сайте картинки отображаются в низком качестве.
В результате обучения я получила следующую серию работ:
prompt: a drawing in YUKIE style, Veloceraptor with two legs and two hands painted in ink on the background of Mount Yuzu
1 prompt: a drawing in YUKIE style, Pterodactyl with two wings painted in colourful ink flying above the pine trees. 2 prompt: a drawing in YUKIE style, Spinosaurus with two legs and two hands painted in ink standing in the water on the background of Great Wave
prompt: a drawing in YUKIE style, Pliosaurus with four flippers in the water painted in ink
prompt: a drawing in YUKIE style, a face of Brontosaurus painted in ink eating branches of sakura
Модели удалось сохранить задуманную мной концепцию и вполне прилично обучиться стилистике укиё-э: пейзажи, цветовая гамма, расплывчатость, тонкость и акварельность работ переданы вполне точно. Как и подобает стилю, композиции простые и не перегруженные, динозавры естественно вписаны в среду. Сами существа, возможно, изображены иногда гиперреалистично или немного криво и не анатомично, однако все же подобающие детальность и плавность линий учтены. Также я довольна тем, что изображения отличаются друг от друга по композиции, модель научилась использовать раззнообразные пейзажи в различных пропорциях: где-то персонажи плотно окружены средой, где-то они существуют в более пустом пространстве, учтены воздух и незаполненность.
Так как у меня был выбран малый размер изображений, после генерации при помощи Stable Diffusion, мне понадобилось использовать ИИ-редактор по улучшению качества изображений: тут я обратилась к picsart.com.
Ссылка на
Для до-обучения модели я создавала датасэт с изображениями в стилистике укиё-э, затем задала промпт обучения на стиль «a drawing in YUKIE style». Чтобы сократить время на процесс обучения, я задала 500 шагов на обучение с чек-поинтом в 250. В итоге процесс занял примерно 30-40 минут. После этого я прописала необходимые промпты для генерации изображений (они указаны в подписях под картинками), отбросила неудачные варианты, где у динозавров появлялось слишком много лап или присутствовал гиперреализм, и сохранила то, что вы можете видеть в результате работы.
