Блог Data Science → Полезные материалы по Data Science | OTUS
Математика для ИИ: случайные величины и распределение вероятностей

Случайная величина — величина, случайно принимающая какое-либо значение из множества всевозможных значений. Также можно сказать, что это функция, конвертирующая результат какого-нибудь меняющегося процесса в числовое значение. Вот, как это обозначается в математике:

Математика для ИИ: базовые термины теории вероятностей

Когда речь идёт об ИИ, хаотичность и неопределённость проявляются во многих формах. И теория вероятностей предоставляет нам методы для работы с неопределённостью, а также используется для анализа частоты возникновения событий.

Зачем знать математику в Data Science?

Практические навыки в математике являются одним из основных требований к Middle-специалистам по Data Science. А если вы «джуниор», то умение применять математические знания на практике позволят вам быстрее продвинуться по карьерной лестнице в этой непростой сфере.

Метод R/R

Совместив вместе метод Херста и метод виртуальных объемов, вы сможете исследовать свойства особых фрактальных (R/R) функций, представляющих собой зависимости квадрата отношения размаха накопленного отклонения от среднего к размаху отклонения от среднего от времени наблюдения (объема выборки) N.

Нелинейность в анализе временных рядов

Math_DS_Deep_28.4-5020-09d3f1.png

Структура современных временных рядов претерпела сильные изменения как в природе своего процесса, так и в характеристиках своего поведения. Современные временные ряды обладают рядом свойств, которые делают невозможным применение традиционных методов анализа.

Процессы с длинной памятью

Math_DS_26.12-5020-001233.png

Зависимость структуры ряда от времени играет ключевую роль при моделировании или анализе временных рядов с различным типом процесса. В задаче анализа временного ряда со сложной структурой часто применяются модели класса ARIMA(p,d,q), которые моделируют различные ситуации, встречающиеся при анализе стационарных и нестационарных рядов.

Какими технологиями должен владеть Data Engineer?

Data_Engineer_Deep_28.4-5020-e80c40.png

photo_2021_10_06_17_53_42-1801-8e2b15.jpg

Как известно, Data Engineer является специалистом по загрузке, обработке и организации хранения больших данных. Давайте посмотрим, а с какими технологиями сегодня ассоциируется Big Data вообще? И какими навыками должен обладать человек, который решил стать дата-инженером.

Метод Такку

Math_DS_Deep_30.9-5020-c2d6df.png

Рассчитать показатель Херста, характеризующий тип процесса, доминирующего в динамике временного ряда, можно по методу Такку. Метод заключается в том, что при анализе ряда выбирается скользящее окно, в котором происходит расчёт через авторегрессионную функцию показателя Херста.

Показатель Херста

Math_DS_Deep_14.10-5020-f2f2f9.png

Показатель Херста характеризует тип процесса, который доминирует в динамике временного ряда. Показатель Херста показывает, какова доля хаоса, присутствующего в ряде. Как известно, таких типов поведения может быть 3: трендовое, колебание, хаос.