Рекурсивное исключение признаков
Recursive Feature Elimination (RFE) — широко известная и популярная техника, предназначенная для выбора точного количества значимых признаков. Давайте уделим ей немного своего внимания.
В одних случаях метод рекурсивного исключения признаков применяется для объяснения числа «наиболее важных» признаков, которые влияют на результаты. Годится метод и для уменьшения слишком большого количества переменных (порядка 200-400), когда оставляют лишь переменные, вносящие хоть какой-либо вклад в модель, причем все остальные переменные исключаются.
В RFE используется ранговая система, то есть ранги выставляются признакам в наборе данных. Далее эти ранги применяются в целях рекурсивного исключения признаков, что зависит уже как от коллинеарности между ними, так и от непосредственной значимости признаков в модели.
Однако метод используется не только для ранжирования признаков, но и для того, чтобы показать, важны эти признаки либо нет, причем даже для заданного количества признаков. Все дело в том, что высока вероятность того, что выбранное количество признаков может быть неоптимальным, тогда как оптимальное количество признаков бывает как больше, так и меньше выбранного количества.
По материалам: https://pub.towardsai.net/feature-selection-in-machine-learning-3b2902852933.
