Cyanotypae Machinarum

В 1843 году Анна Аткинс выпустила книгу «Photographs of British Algae» — первую в истории книгу, где вместо рисунков были фотографии. Она не снимала водоросли камерой: она клала их прямо на бумагу, покрытую солями железа, и выставляла на солнце. Там, где лежало растение, бумага оставалась белой, всё остальное уходило в синий.Такой отпечаток называется фотограммой. Чтобы попасть в кадр, предмет должен был по-настоящему коснуться бумаги.Я обучил Stable Diffusion XL на её пластинах и попросил модель продолжить каталог — но теми предметами, которые на бумагу не положишь: спутниками, антеннами, серверными стойками, турбинами, опорами ЛЭП.Аткинс собирала водоросли на берегу, их можно было поднять рукой. Нас окружает другая среда, не менее плотная: спутники, кабели, вышки, дата-центры. Только потрогать её нельзя. Мне было интересно, что получится, если показать её тем способом, который требует прикосновения.

144 изображения. Все — цианотипии Анны Аткинс 1843–1853 годов из собрания Метрополитен-музея. Музей выложил их по лицензии CC0: это полный отказ от авторских прав, использовать можно свободно, в том числе для обучения моделей. Задание разрешает брать именно такие материалы.Собирал я их кодом через открытый API музея; для каждого файла в таблице SOURCES.csv указаны номер в музее, название, дата и ссылкаИз выдачи я убрал два набора. Первый — 22 цианотипии Генри Босса: это обычные снимки через объектив, просто напечатанные в синем, а мне нужны были только контактные отпечатки. Второй — 12 страниц с рукописным текстом, титулы и оглавления: с ними модель начинала рисовать страницы «письма» вместо водорослей.Отдельно пришлось повозиться с подготовкой. Музей снимает пластины как предметы: в кадре виден серый фон студии, край картона и переплёт книги. Если обучать на таких файлах, модель запомнит не цианотипию, а синий прямоугольник на сером фоне. Поэтому я обрезал всё лишнее, оставил только саму пластину и привёл каждую к квадрату 1024 на 1024. Квадрат сделан не обрезкой, а полями в цвет самой бумаги, чтобы не потерять подпись внизу.

Модель — Stable Diffusion XL, метод — DreamBooth с LoRA, по примеру кода из курса. Кодовое слово, по которому вызывается стиль: ATKNS cyanotype photogram.

Подписи к картинкам я сделал не так, как в примере. Там датасет подписывает модель BLIP, но на этом материале она бесполезна: пластину XIX века она описывает как «синяя фотография растения». Вместо неё я взял описания из каталога музея — у каждой пластины там стоит точное латинское название вида. Получилось, что название вида отвечает за то, что нарисовано, а кодовое слово — за то, как это нарисовано. Если это не разделить, модель намертво свяжет цианотипию с водорослями и не согласится рисовать в этой технике антенну.

Учил на разрешении 768, ранг LoRA 16, 500 шагов, с сохранением промежуточных версий каждые 125 шагов. Ранга поменьше хватило бы для одного предмета, но мне нужен был стиль: зерно бумаги, неровности заливки, характер подписи. Весь прогон занял час десять минут на Kaggle.

Никаких дополнительных улучшений я не применял: ни апскейлеров, ни дорисовки, ни ретуши. Картинки увеличены с 768 до 1800 пикселей обычной интерполяцией, только чтобы нормально смотрелись на странице.

Десять изображений. Сгенерировал двенадцать, два не взял: печатная плата и солнечные панели рассыпались на куски и не собрались в один предмет.

Все десять сделаны одной моделью, с одинаковыми настройками и одним и тем же зерном случайности. Менялось только название предмета в запросе — ровно так же, как у Аткинс менялось только название вида.

Стиль перенёсся почти целиком. Модель выучила синий цвет с неровностями ручной заливки, белый силуэт без полутонов, широкие поля и виньетку по краю. Выучила даже подпись внизу — правда, не буквы, а сам жест письма. На маршрутизаторе случайно вышло читаемое Wireless router, на остальных это похожая на латынь скоропись, которая ни во что не складывается. Для каталога несуществующих механизмов это скорее плюс.