Блог DevOps

Когда люди спрашивают: «Что такое Elasticsearch?», некоторые могут отвечать, что это «индекс», «поисковая система», «аналитическая база данных», «решение для больших данных», что «это быстро и масштабируемо» или что «это вроде как Google».

Какие практики использования Ansible можно считать правильными, а какие нет? Давайте попробуем ответить на этот вопрос вкратце.

Итак современный SRE-инженер должен разбираться в разработке, системном администрировании и автоматизации процессов. Но как насчет траблшутинга?

Мы уже рассказывали о таком важном навыке SRE-инженера, как умение писать код. Но это еще далеко не все, ведь профессия, как известно, не из легких. Одной из следующих важных областей знаний является системное администрирование и автоматизация процессов. Скажем пару слов и о них.

Как известно, еще не так давно при обработке больших данных активно применялся MapReduce -- Hadoop-компонент, положивший начало Big Data-обработке. Однако сегодня можно сказать, что у этого инструмента есть 2 основные проблемы:

У всех нас есть лай­фха­ки и инс­тру­мен­ты, уско­ряющие работу с опре­делен­ными задача­ми и сис­темами. У девоп­сов и адми­нис­тра­торов обла­ков таких инс­тру­мен­тов дол­жно быть едва ли не боль­ше всех, потому что сер­висов, с которы­ми работать, — мно­го, а тер­минал один. В этой статье я делюсь сво­им опы­том работы с облачны­ми сис­темами и решени­ем мел­ких задач, которые воз­ника­ют каж­дый день.

Apache Spark — платформа, используемая в Big Data для крупномасштабной обработки данных и кластерных вычислений. Spark осуществляет обработку данных непосредственно в оперативной памяти, то есть он редко обращается к диску, следовательно, работает весьма быстро.

Helm использует go templates для рендеринга манифестов. Есть функции, которые были разработаны специально для helm. Но в большинстве своем используется библиотека Sprig.

С момента выхода Spark 2.3 в 2018 г. Kubernetes стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.

Читать дальше

Helmwave достиг наконец-то своего совершеннолетия. Рассказываю, что нового.