Реализация метода Decision Trees на Python

Одним из популярных алгоритмов машинного обучения является Decision Trees (деревья решений). Метод, построенный на его основе, широко используется при решении задач прогнозирования и классификации, причём чаще всего именно для классификации. О нём и поговорим.

При реализации метода деревьев решений модель на входе принимает набор атрибутов, которые характеризуют некую сущность, а потом спускается по дереву, тестируя атрибуты с учётом того, какие значения способна принимать целевая функция. В результате классификация каждого нового случая осуществляется в процессе движения вниз до листа, который, как раз таки, и указывает значение целевой функции в любом конкретном случае.

Сегодня деревья принятия решений очень популярны. Это довольно сильный инструмент, если речь идёт об аналитике данных, в особенности в сочетании с простейшими методами композиции (случайный лес, бэггинг и бустинг).

Более подробно рассмотреть базовую функциональность деревьев решений можно с помощью этого видео.

Мы же перейдём к практике и выполним реализацию этого алгоритма с помощью «Пайтона».

Начало работы:

Непосредственная реализация:

Визуализация:

Также, возможно, вам будут интересна реализация следующих алгоритмов машинного обучения: • линейная регрессия; • логистическая регрессия.

По материалам «The Hitchhiker’s Guide to Machine Learning in Python».