2 способа запуска Spark в Kubernetes | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
iOS Developer. Professional Kotlin Backend Developer Flutter Mobile Developer Symfony Framework C++ Developer. Basic Unity Game Developer. Basic Java Developer. Professional
-35%
Highload Architect Unity Game Developer. Professional React.js Developer Специализация Java-разработчик
-25%
Алгоритмы и структуры данных
-16%
Scala-разработчик C# Developer. Professional
-23%
Разработчик голосовых ассистентов и чат-ботов Team Lead Архитектура и шаблоны проектирования NoSQL Web-разработчик на Python Golang Developer. Professional PostgreSQL Vue.js разработчик Супер-практикум по использованию и настройке GIT Разработчик IoT Подготовка к сертификации Oracle Java Programmer (OCAJP) Программист С HTML/CSS
Инфраструктура
Инфраструктурная платформа на основе Kubernetes Microservice Architecture Базы данных Highload Architect Reverse-Engineering. Professional
-8%
Network engineer. Basic Administrator Linux.Basic MongoDB Infrastructure as a code MS SQL Server Developer Cloud Solution Architecture Мониторинг и логирование: Zabbix, Prometheus, ELK Супер-практикум по использованию и настройке GIT Разработчик IoT Экcпресс-курс «ELK» Супер-интенсив "Tarantool" Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes» Экспресс-курс «Введение в непрерывную поставку на базе Docker»
Корпоративные курсы
Безопасность веб-приложений Экосистема Hadoop, Spark, Hive Пентест. Практика тестирования на проникновение Node.js Developer Java QA Engineer. Basic
-18%
Reverse-Engineering. Professional
-8%
DevOps практики и инструменты NoSQL Reverse-Engineering. Basic Cloud Solution Architecture Внедрение и работа в DevSecOps Супер-практикум по работе с протоколом BGP Game QA Engineer Супер - интенсив по Kubernetes Дизайн сетей ЦОД Экспресс-курс «IaC Ansible» Экспресс-курс по управлению миграциями (DBVC) Экспресс-курс "Версионирование и командная работа с помощью Git" Основы Windows Server
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02

2 способа запуска Spark в Kubernetes

Как известно, запускать Spark в Kubernetes можно уже, начиная с версии 2.3, которая была выпущена в 2018 году. При этом до недавнего времени эта возможность была, скажем так, универсальной. Теперь все изменилось.

Произошло это с выходом версии Spark 3.1.1, где эту возможность наконец-то довели до production-ready. Что это значит на практике? Да хотя бы то, что Spark теперь абсолютно готов к запуску в Kubernetes. Сделать это можно двумя способами.

1_W_2QHqAbkoFI2hFQA0QUhg_1-1801-5f3219.png

Способ № раз

Это Spark-submit, он же Spark-Native путь. Применяя spark-submit, вы задаете, как и обычно, все параметры, причем в роли менеджера ресурсов указываете Kubernetes. В результате в момент spark-submit внутри Kuber’а создастся под, причем на нем сначала будет размещен Driver. Потом этот Driver напрямую взаимодействует с API Kubernetes и создает Executor по указанным вами параметрам. При этом сам по себе Kubernetes не будет «знать и понимать», что внутри него функционирует именно Spark, — для Kubernetes это будет всего лишь очередное приложение. Как то так.

Способ № два

Kubernetes Operator for Spark, представляющий собой Kubernetes-Native путь. В данном случае Kubernetes уже «понимает», что внутри функционирует Spark. Мало того, при такой реализации вы получите более удобный доступ: — к логам; — статусу приложения; — текущему состоянию Job.

Пожалуй, второй способ — это то, что стоит порекомендовать в первую очередь, уж простите за каламбур.

По материалам https://mcs.mail.ru/blog/.

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться