Для планирования приложений и управления ресурсами в Spark нередко применяют Yarn. Не секрет, что довольно долго Spark в Kubernetes значительно отставал по скорости и эффективности работы от Spark в Yarn. Однако сегодня производительность почти выровнялась, хоть Yarn и остается немного быстрее (приблизительно на 4–5 %).

События в Kubernetes показывают, что именно происходит в кластере при изменении состояния либо в случае ошибок, вызванных другими ресурсами системы. При этом события можно назвать типом ресурса, который автоматически создается через API-сервер всеми основными компонентами/расширениями в кластере.

Два основных плюса DevSecOps -- это скорость и безопасность. То есть растет как скорость разработки, так и безопасность и качество кода, в то время как затраты снижаются. Что же, давайте обоснуем эти утверждения.

Сегодня все и больше и больше специалистов по Data Science/Data Engineering применяют в своей каждодневной работе контейнеры. Такой подход дает возможность разделить рабочие среды, а также упрощает миграцию как из On-premise в облако, так и обратно. Пользуясь Kubernetes и контейнерами, вы, по сути, приближаетесь к Cloud Native. Что же, давайте посмотрим, какие конкретные плюсы можно получить, если запустить Spark внутри Kubernetes.

DevSecOps расшифровывается как development, security и operations. Это подход, автоматизирующий интеграцию задач информационной безопасности на всех этапах жизненного цикла разработки ПО, начиная от проектирования, заканчивая интеграцией, тестированием, развертыванием и доставкой ПО.

Концепция SRE включает в себя довольно много конкретных практик. Но в их основе все равно лежат базовые принципы. О них и поговорим.

DevOps представляет собой методологию, помогающую автоматизировать все этапы по созданию ПО: от разработки и тестирования до развертывания и доставки конечного продукта пользователям. В результате команда работает более эффективно, выпуская на рынок качественные цифровые продукты.

Как известно, нам требуется на сервере только один виртуальный хост. Но что делать, если мы желаем сменить хост, установленный по умолчанию, на что-либо более конкретное? Потребуется удалить текущий virtualhost, потом отправить нужный нам virtualhost и активировать его, а также перезапустить Apache. Приступим!

Чтобы создать команду DataOps, далеко не всегда следует нанимать новых специалистов. Дело в том, что во многих компаниях костяк DataOps-группы уже имеется — в этом качестве могут выступать специалисты из уже существующих DevOps-команд.

Организации, внедряющие методологию DevOps, нанимают соответствующего специалиста. DevOps-инженер отвечает за автоматизацию на всех этапах: начиная от разработки, сборки и тестирования, заканчивая развертыванием, выпуском и доставкой продукта конечным пользователям.