Spring Cloud Data Flow
Модуль Cloud Data Flow необходим приложениям в том случае, если они используют потоковую передачу и пакетную обработку данных. При этом данный фреймворк поддерживает целый спектр уже готовых кейсов обработки данных. Среди них:
- ETL (Extract, Transform, Load);
- потоковая обработка событий;
- прогнозная аналитика.
Основные характеристики модуля
Можно выделить:
- возможность развертывания приложений на платформах Cloud Foundry/Kubernetes;
- наличие готовых приложений для разных сценариев интеграции/обработки данных;
- наличие настраиваемых приложений, которые ориентированы на связующее программное обеспечение либо службы данных;
- возможность использования специального графического редактора, предназначенного для интерактивного построения конвейеров данных, а также для мониторинга метрик посредством Prometheus, Wavefront, Influx DB и прочих систем;
- поддержка REST API для создания/развертывания конвейеров данных, причем есть возможность работы из командной строки;
- для указания, какие именно приложения следует развертывать и как именно подключать входы и выходы предусмотрен простой потоковый конвейер DSL.
Сфера применения
Модуль Cloud Data Flow -- отличное решение при создании конвейеров потоковой обработки данных, к примеру, для пересылки каких-нибудь данных в базу и последующего удобного анализа этих данных.
Как освоить?
Для освоения модуля рекомендуется попробовать создать микросайт средствами Spring Cloud Data Flow. Также вы можете изучить уже существующие примеры использования.
Хотите научиться «выживать» в проектах, где есть «Спринг», добро пожаловать на специализированный курс в Otus!
