Блог Data Science | OTUS
👋 Канал OTUS в Telegram!
Посты от приглашенных гостей из IT-тусовки, полезные статьи, подборки вакансий от партнеров ➞
Подробнее

Курсы

Программирование
Vue.js разработчик
-40%
React.js разработчик
-40%
Архитектор программного обеспечения
-40%
Архитектура и шаблоны проектирования
-40%
Разработчик C++
-40%
Fullstack разработчик JavaScript
-40%
Backend-разработчик на PHP
-30%
Алгоритмы и структуры данных
-30%
Team Lead
-30%
Разработчик Python. Базовый курс
-30%
Разработчик Python. Продвинутый курс
-22%
iOS Разработчик. Продвинутый курс
-21%
CI/CD
-37%
Разработчик C#
-25%
PostgreSQL Framework Laravel Web-разработчик на Python Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик игр на Unity Agile Project Manager в IT Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02
Посты
Математика для ИИ: базовые термины теории вероятностей

Когда речь идёт об ИИ, хаотичность и неопределённость проявляются во многих формах. И теория вероятностей предоставляет нам методы для работы с неопределённостью, а также используется для анализа частоты возникновения событий.

Зачем знать математику в Data Science?

Практические навыки в математике являются одним из основных требований к Middle-специалистам по Data Science. А если вы «джуниор», то умение применять математические знания на практике позволят вам быстрее продвинуться по карьерной лестнице в этойнепростой сфере.

Нелинейность в анализе временных рядов

Math_DS_Deep_28.4-5020-09d3f1.png

Структура современных временных рядов претерпела сильные изменения как в природе своего процесса, так и в характеристиках своего поведения. Современные временные ряды обладают рядом свойств, которые делают невозможным применение традиционных методов анализа.

Процессы с длинной памятью

Math_DS_26.12-5020-001233.png

Зависимость структуры ряда от времени играет ключевую роль при моделировании или анализе временных рядов с различным типом процесса. В задаче анализа временного ряда со сложной структурой часто применяются модели класса ARIMA(p,d,q), которые моделируют различные ситуации, встречающиеся при анализе стационарных и нестационарных рядов.

Какими технологиями должен владеть Data Engineer?

Data_Engineer_Deep_28.4-5020-e80c40.png

Как известно, Data Engineer является специалистом по загрузке, обработке и организации хранения больших данных. Давайте посмотрим, а с какими технологиями сегодня ассоциируется Big Data вообще? И какими навыками должен обладать человек, который решил стать дата-инженером.

Метод Такку

Math_DS_Deep_30.9-5020-c2d6df.png

Рассчитать показатель Херста, характеризующий тип процесса, доминирующего в динамике временного ряда, можно по методу Такку. Метод заключается в том, что при анализе ряда выбирается скользящее окно, в котором происходит расчёт через авторегрессионную функцию показателя Херста.

Показатель Херста

Math_DS_Deep_14.10-5020-f2f2f9.png

Показатель Херста характеризует тип процесса, который доминирует в динамике временного ряда. Показатель Херста показывает, какова доля хаоса, присутствующего в ряде. Как известно, таких типов поведения может быть 3: трендовое, колебание, хаос.

Метод Box-Counting

Math_DS_Deep_17.10-5020-dc897e.png

Это известный алгоритм, который позволяет оценить эффект входной информации на наблюдаемый выходной параметр. Пространство переменных X и Y разбивается на ячейки. Количество заполненных ячеек будет использоваться для оценки вероятностного распределения входных параметров.