Удивительный изюм: анализ разновидностей изюма

В этом проекте я проанализировала данные морфологических характеристик изюма для классификации сортов, а именно — Кечимен и Бесни — для их дальнейшей классификации и дифференциации.

Изначально причина этого исследования несла в себе исключительно юмористический характер, так как, увидев этот набор данных на сайте Kaggle (kaggle.com), мне стало забавно, что кто-то потратил время и силы на формирование датасета про изюм.

Поэтому я решила потратить свои время и силы на визуальный анализ данных про этот самый изюм, так как мне стало интересно сделать графики и подобрать взаимосвязи не самых очевидных признаков.

Набор данных включает 7 морфологических характеристик каждого зерна, рассчитанных на основе их изображений:

• площадь (количество пикселей в пределах границы изюминки)
• длина главной и малой оси
• эксцентриситет (показатель того, насколько вытянут изюм по сравнению с идеальным кругом)
• выпуклая область
• масштаб
• периметр
• класс

Для исследования были выбраны следующие виды графиков:

• сложенная столбчатая диаграмма (наглядно показать средние значения морфологических характеристик для сортов)
• диаграмма рассеяния (исследовать взаимосвязь между характеристиками, так как этот вид диаграмм дает возможность визуализировать корреляции и закономерности данных)
• тепловая карта корреляций ( выбрать наиболее значимые для дальнейшего анализа признаки)
• гистограммы распределений (дает представление о вариациях и схожести характеристик между сортами)

В данном коде используются следующие библиотеки: pandas (pd) для работы с файлами, matplotlib.pyplot (plt) для создания основной визуализации, seaborn (sns) для стилизации графиков, а также numpy (np) для выполнения вычислений и работы с массивами данных.

Я начала свой анализ данных с автоматической классификации столбцов в датафрейме df, чтобы разделить их три группы: числовые столбцы, категориальные столбцы и категориальные столбцы с высокой кардинальностью (большим количеством уникальных значений)

Визуализацию данных я прописывала с настройки стиля и создания фигуры, после чего задавала цветовую палитру.

Палитра выбрана в коричневых оттенках с акцентным желтым цветом, потому что она ассоциируется с разновидностями сортов изюма.

Дальше построение основы графика вместе с настройкой визуальных элементов.

Последний шаг - корректирование компоновки графика (регулирование отступов и размера), отображение графика и вызов функции передачей датафрейма.

Эта гистограмма предоставляет визуальную информацию о распределении значений числовых характеристик изюма, таких как Area, Perimeter, Convex Area, и других, помогая понять, как эти параметры варьируются и где сосредоточены основные значения.

Так, даже в столь не стандартных признаках мы можем сделать вывод их этого графика, например:

Из плотных распределений для разных классов можно указать метрики, чтобы использовать их для классификации сортов изюма.

Из гистограммы можно найти редкие значения, которые могут быть ошибками в данных или уникальными объектами (изюминками).