Уже начиная со Spark версии 2.4, в случае применения Spark on Kubernetes появилась возможность монтировать 3 типа томов. Рассмотрим их подробнее:

Kubernetes – это runtime для для написания распределенных инфраструктурных приложений с использованием Operator pattern, плюс оркестратор контейнеров.

Вкратце поговорим про PySpark UX, стейджинговую диспетчеризацию и функцию повышения производительности в Spark 3.1.

Мы уже рассказывали про основные концепции Zabbix. Давайте посмотрим, что можно мониторить с его помощью.

DevSecOps может стать закономерным этапом по интеграции средств обеспечения безопасности в непосредственные процессы разработки, доставки и эксплуатации программного обеспечения. Давайте рассмотрим основные рекомендации, связанные с этим подходом.

Zabbix нередко называют швейцарским ножом системного администратора. Пусть этот инструмент и выглядит, как очередная система мониторинга, однако его возможности значительно шире, чем у многих других продуктов схожего назначения.

Хоть Kubernetes и предлагает широкие возможности для построения надежных кластеров, без правильно организованного мониторинга не обойтись. Мы уже рассказывали про такие связки инструментов, как Prometheus+InfluxDB+Grafana и Prometheus+ELK stack (ElasticSearch+Logstash+Kibana). Теперь поговорим про Datadog и NewRelic.

Для планирования приложений и управления ресурсами в Spark нередко применяют Yarn. Не секрет, что довольно долго Spark в Kubernetes значительно отставал по скорости и эффективности работы от Spark в Yarn. Однако сегодня производительность почти выровнялась, хоть Yarn и остается немного быстрее (приблизительно на 4–5 %).

События в Kubernetes показывают, что именно происходит в кластере при изменении состояния либо в случае ошибок, вызванных другими ресурсами системы. При этом события можно назвать типом ресурса, который автоматически создается через API-сервер всеми основными компонентами/расширениями в кластере.

Два основных плюса DevSecOps -- это скорость и безопасность. То есть растет как скорость разработки, так и безопасность и качество кода, в то время как затраты снижаются. Что же, давайте обоснуем эти утверждения.