"Длинный" и "широкий" форматы данных

Данные являются длинными когда для каждого признака выделяется свой, отдельный столбец. Представим что у нас есть некоторое множество студентов, изучающих три языка программирования, причем студенты разбиты на 5 групп и у каждой группы есть свой рейтинг по каждому языку. Мы можем без труда представить эти данные в "длинной" форме:

# придумываем данные:
group = ['F' + str(i//3) for i in range(3, 18)]
course = ['Pyton', 'C++', 'Java']*5
rating = np.random.randint(10, 50, size=15)

# создаем из этих данных датафрейм:
df_long = pd.DataFrame({'Group': group,
                        'Course': course,
                        'Rating': rating})
df_long

В длинной форме все признаки (название группы, язык программирования и рейтинг) сгруппированы по столбцам, а строки представляют собой отдельные "наблюдения" - объекты с указанным набором признаков. Очень часто, именно в таком формате данные "скармливаются" алгоритмам машинного обучения. Очень часто такой формат данных используется для хранения временных рядов. Но есть еще и "широкий" формат данных:

df_wide = df_long.pivot(index='Group',
                        columns='Course',
                        values='Rating')
df_wide

В "широком" формате данные выглядят более компактными, так как строки представляют собой признаки, а отдельные наблюдения хранятся в ячейках. Такие данные легче анализировать, а воспринимаются они еще легче, если их представить в виде тепловой карты:

import seaborn as sns
sns.set()

sns.heatmap(df_wide, annot=True);

Как вы заметили, метод pivot() устроен очень просто, первые два аргумента определяют значения каких столбцов станут индексами и заголовками столбцов, а последний задает значения столбца которые будут помещены в результирующую, "широкую" таблицу. Давайте придумаем еще один пример, пускай у нас есть вот такой датафрейм:

# Выдумываем данные:
date_idx = pd.date_range(start='2020-01-01', end='2020-12-31')
date_idx
feature_1 = ['Red', 'Green', 'Blue']*122
feature_2 = list('ABCDEF')*61
value_1 = np.cumsum(np.random.randn(366))

# Создаем датафрейм, с "типа реальными" данными:
df = pd.DataFrame({'Date': date_idx,
                   'Feature_1': feature_1,
                   'Feature_2': feature_2,
                   'Value_1': value_1})
df

Этот датафрейм очень похож на предыдущий, и кажется что мы можем повернуть эти данные в широкий формат. Но ничего не получится:

df.pivot(index='Feature_1',
         columns='Feature_2',
         values='Value_1')

ValueError: Index contains duplicate entries, cannot reshape

Дело в том, что индекс результирующего датафрейма не должен содержать повторяющихся значений, а из этого следует, что пары значений из столбцов Feature_1 и Feature_2 должны разбиваться на непересекающиеся подмножества. Заметьте, что для датафрейма из предыдущего примера это условие выполняется. Данный пример пригодился бы гораздо больше для демонстрации приемов агрегации данных.

Что же делать если все-таки очень хочется повернуть такие неповорачиваемые данные. Обратите внимание что датафрейм df содержит информацию о дате. Очень часто вам придется работать с временными рядами, которые помимо количественных данных ('Value_1') будут содержать еще и категориальные данные ('Feature_1', 'Feature_2'). Однако (!) дата тоже может быть воспринята как комбинация категориальных признаков: признак-год, признак-месяц, признак-день месяца и т.д.

С помощью аксессора dt мы можем получить доступ к месяцу и дню месяца любой даты, а значит можем поместить эти данные в наш датафрейм:

df['Day'] = df['Date'].dt.day
df['Month'] = df['Date'].dt.month
df

Что дальше? А дальше можно заметить, что значения этих двух новых столбцов образуют пары месяц-день, которые могут быть разбиты на непересекающиеся подмножества, следовательно, они могут быть повернуты:

df.pivot(index='Day',
         columns='Month',
         values='Value_1')

Благодаря тепловой карте обратить внимание на самые интересные места новой таблицы гораздо проще:

sns.heatmap(df.pivot(index='Day',
         columns='Month',
         values='Value_1'));

Далее, мы можем повернуть эти данные в широкий формат для каждого категориального значения из столбцов Feature_1 и Feature_2, например, вот так:

# Вытаскиваем все строки в которых 
# 'Feature_1' имеет значение 'Red':
df_reds = df[df['Feature_1'] == 'Red']
df_reds

# смотрим на уникальные значения в 
# 'Feature_2':
pd.unique(df_reds['Feature_2'])

array(['A', 'D'], dtype=object)

import matplotlib.pyplot as plt

# строим график:
fig = plt.figure()

ax_1 = fig.add_subplot(1, 2, 1)
ax_2 = fig.add_subplot(1, 2, 2)

df_red_a = df_reds[df_reds['Feature_2'] == 'A'].pivot('Day', 'Month', 'Value_1')
sns.heatmap(df_red_a, ax=ax_1)

df_red_d = df_reds[df_reds['Feature_2'] == 'D'].pivot('Day', 'Month', 'Value_1')
sns.heatmap(df_red_d, ax=ax_2)

ax_1.set(title = 'Feature_2 = "A"')
ax_2.set(title = 'Feature_2 = "D"')

fig.suptitle('Feature_1 = "Red"')

fig.set_figwidth(14)
fig.set_figheight(6)

Серые участки на тепловых картах соответствуют NaN-ам, т.е. если при повороте в широкий формат каких-то значений нет, то это не приводит к ошибке.

Кстати, последний аргумент - values в методе pivot() может быть опущен, в этом случае мы можем получить "широкие" данные с иерархической индексацией. Давайте вернемся к нашему датафрейму со студентами:

df_long

И добавим к нему несколько столбцов:

df_long['missing_classes '] = np.random.randint(0, 5, 15)
df_long['Progress'] = np.random.randint(70, 100, 15)

df_long.head()

А теперь повернем этот датафрейм без аргумента values:

df_long.pivot(index='Group', columns='Course')

В итоге получился датафрейм с иерархической индексацией. Аргумент values так же может принимать списки с перечисленными именами столбцов:

df_long.pivot(index='Group',
              columns='Course',
              values=['Rating', 'Progress'])

Более того, параметры index и columns так же могут принимать списки с именами столбцов, которые будут преобразованы к иерархической индексации строк (или столбцов).

df_long['Gender'] = ['Male']*7 + ['Female']*8
df_long

df_long.pivot(index=['Group', 'Gender'],
              columns='Course',
              values=['Rating', 'progress'])