Рано или поздно вы столкнётесь с моментом, когда pipeline’ы начнут разваливаться, появятся ужасные bottleneck’и, пользователи начнут жаловаться на медленную работу, а витрины для CEO не будут рассчитаны к 9.00 утра. И лучше быть готовым к этому моменту.
Несмотря на быстрое развитие инструментов потоковой (streaming) аналитики, значительная часть расчётов по-прежнему выполняется в пакетном (batch) режиме. Это приводит к появлению большого числа повторяющихся задач, которые нужно запускать каждый час/день/месяц.
Оригинальный текст статьи здесь.
Растущий объём информации и одновременное удешевление вычислений и хранения данных породили понятие больших данных (big data).
Вопрос окупаемости проектов BigData часто оказывается ключевым.
Российский рынок больших данных активно развивается, но он ещё очень молод: данных не хватает, а инструменты анализа не всегда оказываются эффективными.
Big Data — это концепция сбора, хранения, обработки и использования всевозможных данных, полученных от людей и/или цифровых устройств.
Анализ временных рядов — тема, достойная отдельного освещения в рамках изучения Data Science. К сожалению, ей уделено мало места в стандартных программах ВУЗов, зато она повсеместно встречается на практике.
Очень часто в задачах машинного обучения у нас следующая задача. Дан массив чисел:
Надо посчитать величину: 
Необходимость подсчёта такого выражения возникает например в EM-алгоритме на E-шаге, когда мы считаем апостериорное распределение на скрытые переменные.
Ансамблирование моделей – в машинном обучении техника для улучшения качества предсказаний. Основная идея заключается в том, что отдельно обучаются несколько моделей, а далее их предсказания усредняются. Давайте разберём, почему вообще это работает.
