Блог DevOps → Полезные материалы по DevOps | OTUS
Особенности работы Spark в Kubernetes

Для планирования приложений и управления ресурсами в Spark нередко применяют Yarn. Не секрет, что довольно долго Spark в Kubernetes значительно отставал по скорости и эффективности работы от Spark в Yarn. Однако сегодня производительность почти выровнялась, хоть Yarn и остается немного быстрее (приблизительно на 4–5 %).

Доступ к событиям в Kubernetes

События в Kubernetes показывают, что именно происходит в кластере при изменении состояния либо в случае ошибок, вызванных другими ресурсами системы. При этом события можно назвать типом ресурса, который автоматически создается через API-сервер всеми основными компонентами/расширениями в кластере.

Преимущества DevSecOps

Два основных плюса DevSecOps -- это скорость и безопасность. То есть растет как скорость разработки, так и безопасность и качество кода, в то время как затраты снижаются. Что же, давайте обоснуем эти утверждения.

5 преимуществ запуска Spark в Kubernetes

Сегодня все и больше и больше специалистов по Data Science/Data Engineering применяют в своей каждодневной работе контейнеры. Такой подход дает возможность разделить рабочие среды, а также упрощает миграцию как из On-premise в облако, так и обратно. Пользуясь Kubernetes и контейнерами, вы, по сути, приближаетесь к Cloud Native. Что же, давайте посмотрим, какие конкретные плюсы можно получить, если запустить Spark внутри Kubernetes.

Что такое DevSecOps?

DevSecOps расшифровывается как development, security и operations. Это подход, автоматизирующий интеграцию задач информационной безопасности на всех этапах жизненного цикла разработки ПО, начиная от проектирования, заканчивая интеграцией, тестированием, развертыванием и доставкой ПО.

Зачем компаниям DevOps?

DevOps представляет собой методологию, помогающую автоматизировать все этапы по созданию ПО: от разработки и тестирования до развертывания и доставки конечного продукта пользователям. В результате команда работает более эффективно, выпуская на рынок качественные цифровые продукты.

Улучшение плейбука в Ansible

Как известно, нам требуется на сервере только один виртуальный хост. Но что делать, если мы желаем сменить хост, установленный по умолчанию, на что-либо более конкретное? Потребуется удалить текущий virtualhost, потом отправить нужный нам virtualhost и активировать его, а также перезапустить Apache. Приступим!

Как сформировать DataOps-команду

Чтобы создать команду DataOps, далеко не всегда следует нанимать новых специалистов. Дело в том, что во многих компаниях костяк DataOps-группы уже имеется — в этом качестве могут выступать специалисты из уже существующих DevOps-команд.

Чем занимается DevOps-инженер?

Организации, внедряющие методологию DevOps, нанимают соответствующего специалиста. DevOps-инженер отвечает за автоматизацию на всех этапах: начиная от разработки, сборки и тестирования, заканчивая развертыванием, выпуском и доставкой продукта конечным пользователям.