Устойчивость – одна из важнейших характеристик материальных систем. Под устойчивостью понимают способность системы сохранять своё состояние в условиях возмущающего воздействия среды. Исследование устойчивого и неустойчивого поведения ряда осуществляться на основе анализа поведения системы во времени после воздействия какого-нибудь возмущения.
Основой данного метода является восстановление иного, но «похожего» на исходный аттрактор последовательным сдвигом. Алгоритм Грассбергера – Прокаччиа состоит в следующем:
Сегодня поговорим об одной концепции, которая распространена в разных фреймворках обработки данных и является очень важной для дата-инженеров, разрабатывающих системы потоковой аналитики.
Что такое качество данных? Это что-то абсолютное или относительное для каждой задачи? В чём измерять качество данных?
Машинное обучение и нейросети показали миру, насколько они эффективны во многих сферах. Однако алгоритмы сами по себе выдающийся результат не покажут. Это возможно лишь в том случае, если их обучить на большом количестве данных. И данные эти должны быть качественные.
В основе современных аналитических СУБД и распределённых систем обработки данных лежит ряд ключевых принципов. Если Инженер Данных сможет постичь их суть и успешно использовать, то он постигнет дзен, обретёт спокойствие и уверенность в завтрашнем дне.
Рано или поздно вы столкнётесь с моментом, когда pipeline’ы начнут разваливаться, появятся ужасные bottleneck’и, пользователи начнут жаловаться на медленную работу, а витрины для CEO не будут рассчитаны к 9.00 утра. И лучше быть готовым к этому моменту.
Несмотря на быстрое развитие инструментов потоковой (streaming) аналитики, значительная часть расчётов по-прежнему выполняется в пакетном (batch) режиме. Это приводит к появлению большого числа повторяющихся задач, которые нужно запускать каждый час/день/месяц.
Оригинальный текст статьи здесь.
Растущий объём информации и одновременное удешевление вычислений и хранения данных породили понятие больших данных (big data).
