Реализуем линейную регрессию на Python

Не так давно мы рассказывали про основные алгоритмы для машинного обучения. Сегодня попробуем реализовать что-нибудь на Python 3. Начнём с линейной регрессии. Перед началом работы следует импортировать нужные библиотеки:

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
%matplotlib inline

Идём дальше. На сегодняшний день линейная регрессия — не только один из самых популярных алгоритмов машинного обучения, но и один из самых недооценённых. А всё потому, что, к сожалению, многие инженеры забывают, что из 2 алгоритмов с одинаковой производительностью более разумно выбирать тот, который проще. И именно таковым является линейная регрессия — алгоритм контролируемого машинного обучения, прогнозирующий результаты, которые основаны на непрерывных функциях.

Алгоритм универсален, т. к. может запускаться как с одной входной переменной (это будет простая линейная регрессия), так и с зависимостью от нескольких (так называемая множественная регрессия). И суть регрессии заключается в том, чтобы назначить оптимальные веса для переменных с последующим созданием линии (ax + b), которая, в дальнейшем, сможет применяться для прогнозирования вывода. Если хотите углубиться в тему, смотрите видео с более подробным объяснением. Мы же перейдём от теории к реализации.

Начало работы:

from sklearn import linear_model
df = pd.read_csv('linear_regression_df.csv')
df.columns = ['X', 'Y']
df.head()

А теперь давайте посмотрим на визуализацию:

sns.set_context("notebook", font_scale=1.1)
sns.set_style("ticks")
sns.lmplot('X','Y', data=df)
plt.ylabel('Response')
plt.xlabel('Explanatory')

Что же, осталось реализовать алгоритм линейной регрессии:

linear = linear_model.LinearRegression()
trainX = np.asarray(df.X[20:len(df.X)]).reshape(-1, 1)
trainY = np.asarray(df.Y[20:len(df.Y)]).reshape(-1, 1)
testX = np.asarray(df.X[:20]).reshape(-1, 1)
testY = np.asarray(df.Y[:20]).reshape(-1, 1)
linear.fit(trainX, trainY)
linear.score(trainX, trainY)
print('Coefficient: \n', linear.coef_)
print('Intercept: \n', linear.intercept_)
print('R² Value: \n', linear.score(trainX, trainY))
predicted = linear.predict(testX)

По материалам статьи «The Hitchhiker’s Guide to Machine Learning in Python».