regplot: тренд и регрессия на графике рассеяния

На диаграмме рассеяния из урока 5 облако точек отвечает на вопрос «есть ли связь» — но полуточно: глаз ловит направление облака, а где именно проходит тренд и насколько он надёжен, приходится угадывать. sns.regplot доводит ответ до конца: рисует те же точки и добавляет линию регрессии — прямую, проведённую через облако методом наименьших квадратов, — и обводит её доверительной полосой, которая показывает, насколько линии можно верить.

Разберём на данных, к которым вернёмся весь урок: интернет-магазин 12 недель меняет рекламный бюджет и записывает выручку. Обе величины — в тысячах рублей.

Точки, линия и доверительная полоса

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

df = pd.DataFrame({
    "реклама": [12, 18, 25, 30, 35, 41, 48, 55, 60, 68, 75, 82],
    "выручка": [340, 372, 415, 452, 470, 521, 548, 601, 623, 655, 702, 738],
})

sns.regplot(data=df, x="реклама", y="выручка")
plt.show()

График отображается под редактором

На графике три слоя. Точки — сами недели, как их отрисовал бы scatterplot. Прямая — итог линейной регрессии: единственная прямая, сумма квадратов расстояний до которой минимальна. Полупрозрачная полоса вокруг — 95-процентный доверительный интервал: диапазон, в котором, скорее всего, лежит настоящая линия зависимости. Полоса уже в середине, где точки плотные, и расширяется к краям, где данных мало, — это её честная работа.

Что говорит наклон

Наклон — главный вывод графика. Уравнение прямой regplot не пишет, но его можно получить тем же методом наименьших квадратов через np.polyfit:

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "реклама": [12, 18, 25, 30, 35, 41, 48, 55, 60, 68, 75, 82],
    "выручка": [340, 372, 415, 452, 470, 521, 548, 601, 623, 655, 702, 738],
})

slope, intercept = np.polyfit(df["реклама"], df["выручка"], 1)
print(round(slope, 1))
print(round(intercept, 1))

5.7
275.0

Наклон 5.7 означает: каждый дополнительный рубль рекламы приносит в среднем 5.7 рубля выручки, а свободный член 275 — базовая выручка без рекламы. Формулировка «в среднем» здесь принципиальна: точки не лежат на прямой идеально, и это нормально. О силе связи говорит коэффициент корреляции — в наших данных 0.999, связь практически функциональная. И ещё принципиальнее: регрессия показывает совместное движение, а не причину — возможно, обе величины растут от третьего фактора, например сезонности.

ci=None: когда полоса мешает

Полоса полезна при чтении, но в презентации её часто убирают: она утолщает линию и спорит за внимание. Параметр ci=None отключает доверительный интервал, а line_kws и marker позволяют заодно довести стиль — цвет и толщину линии, форму маркеров:

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

df = pd.DataFrame({
    "реклама": [12, 18, 25, 30, 35, 41, 48, 55, 60, 68, 75, 82],
    "выручка": [340, 372, 415, 452, 470, 521, 548, 601, 623, 655, 702, 738],
})

sns.regplot(
    data=df, x="реклама", y="выручка",
    ci=None,
    marker="x", color="seagreen",
    line_kws={"linewidth": 2},
)
plt.show()

График отображается под редактором

Когда зависимость не прямая: order и logx

Прямая — частный случай. Температура за день растёт до полудня и падает после: точки выгибаются дугой, и прямая проходит мимо пика. Параметр order=2 просит regplot подогнать полином второй степени — параболу:

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

# Температура по часам относительно полудня
day = pd.DataFrame({
    "часы": [-3, -2, -1, 0, 1, 2, 3],
    "температура": [18, 21, 24, 25, 24, 21, 18],
})

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(10, 4))
sns.regplot(data=day, x="часы", y="температура", order=1, ax=ax1)
ax1.set_title("order=1: прямая не ловит пик")
sns.regplot(data=day, x="часы", y="температура", order=2, ax=ax2)
ax2.set_title("order=2: кривая ловит пик")
plt.tight_layout()
plt.show()

График отображается под редактором

Слева прямая легла почти плашмя и сообщает: «время суток с температурой не связано», — очевидный абсурд. Справа order=2 выгибает кривую и находит пик в нуле — в полдень. Степень order подбирают по форме облака и не задирают без нужды: каждая лишняя степень заставляет линию выгибаться в погоне за отдельными точками. Второй частый изгиб — быстрый рост, выходящий на плато: охват рекламы растёт от бюджета всё медленнее. Здесь помогает logx=True: перед подгонкой ось X логарифмируется, и кривая насыщения выпрямляется в линию.

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

# Охват рекламы от бюджета: растёт всё медленнее
ads = pd.DataFrame({
    "бюджет": [10, 20, 40, 80, 160, 320, 640],
    "охват": [11000, 19500, 31000, 46000, 59000, 68000, 73000],
})

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(10, 4))
sns.regplot(data=ads, x="бюджет", y="охват", ax=ax1)
ax1.set_title("Прямая: явно не то")
sns.regplot(data=ads, x="бюджет", y="охват", logx=True, ax=ax2)
ax2.set_title("logx=True: лог-кривая легла в точки")
plt.tight_layout()
plt.show()

График отображается под редактором

Соберём параметры регрессии в одну таблицу:

Заметьте: у regplot нет параметра hue. Провести две линии на одной панели можно двумя вызовами с одним ax — regplot относится к axes-level функциям и встраивается в любую композицию subplots:

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd

online = pd.DataFrame({
    "реклама": [12, 25, 35, 48, 60, 75],
    "выручка": [380, 460, 530, 610, 680, 750],
})
offline = pd.DataFrame({
    "реклама": [12, 25, 35, 48, 60, 75],
    "выручка": [330, 360, 400, 440, 470, 510],
})

fig, ax = plt.subplots(figsize=(8, 4))
sns.regplot(data=online, x="реклама", y="выручка", ax=ax, ci=None, label="онлайн")
sns.regplot(data=offline, x="реклама", y="выручка", ax=ax, ci=None, label="офлайн")
ax.legend()
ax.set_title("Наклон у каналов разный")
plt.show()

График отображается под редактором

Что дальше

regplot отвечает на вопрос «куда идёт тренд» — но график без заголовка, подписей осей и аннотации пика в отчёте никто не поймёт. Следующий урок — подписи, заголовки и аннотации: дорабатываем всё, что нарисовал Seaborn, руками Matplotlib и сохраняем в PNG для презентации.

Доверительная полоса — честность графика: она шире там, где данных мало, и сжимается там, где данные плотные.