Блог DevOps

У всех нас есть лай­фха­ки и инс­тру­мен­ты, уско­ряющие работу с опре­делен­ными задачами и сис­темами. У девоп­сов и адми­нис­тра­торов обла­ков таких инс­тру­мен­тов дол­жно быть едва ли не боль­ше всех, потому что сер­висов, с которы­ми работать, — мно­го, а тер­минал один. В этой статье я делюсь сво­им опы­том работы с облачны­ми сис­темами и решени­ем мел­ких задач, которые воз­ника­ют каж­дый день.

Уже начиная со Spark версии 2.4, в случае применения Spark on Kubernetes появилась возможность монтировать 3 типа томов. Рассмотрим их подробнее:

Kubernetes – это runtime для для написания распределенных инфраструктурных приложений с использованием Operator pattern, плюс оркестратор контейнеров.

Вкратце поговорим про PySpark UX, стейджинговую диспетчеризацию и функцию повышения производительности в Spark 3.1.

Мы уже рассказывали про основные концепции Zabbix. Давайте посмотрим, что можно мониторить с его помощью.

DevSecOps может стать закономерным этапом по интеграции средств обеспечения безопасности в непосредственные процессы разработки, доставки и эксплуатации программного обеспечения. Давайте рассмотрим основные рекомендации, связанные с этим подходом.

Zabbix нередко называют швейцарским ножом системного администратора. Пусть этот инструмент и выглядит, как очередная система мониторинга, однако его возможности значительно шире, чем у многих других продуктов схожего назначения.

Хоть Kubernetes и предлагает широкие возможности для построения надежных кластеров, без правильно организованного мониторинга не обойтись. Мы уже рассказывали про такие связки инструментов, как Prometheus+InfluxDB+Grafana и Prometheus+ELK stack (ElasticSearch+Logstash+Kibana). Теперь поговорим про Datadog и NewRelic.

Для планирования приложений и управления ресурсами в Spark нередко применяют Yarn. Не секрет, что довольно долго Spark в Kubernetes значительно отставал по скорости и эффективности работы от Spark в Yarn. Однако сегодня производительность почти выровнялась, хоть Yarn и остается немного быстрее (приблизительно на 4–5 %).

События в Kubernetes показывают, что именно происходит в кластере при изменении состояния либо в случае ошибок, вызванных другими ресурсами системы. При этом события можно назвать типом ресурса, который автоматически создается через API-сервер всеми основными компонентами/расширениями в кластере.