Когда люди спрашивают: «Что такое Elasticsearch?», некоторые могут отвечать, что это «индекс», «поисковая система», «аналитическая база данных», «решение для больших данных», что «это быстро и масштабируемо» или что «это вроде как Google».

Какие практики использования Ansible можно считать правильными, а какие нет? Давайте попробуем ответить на этот вопрос вкратце.

Итак современный SRE-инженер должен разбираться в разработке, системном администрировании и автоматизации процессов. Но как насчет траблшутинга?

Мы уже рассказывали о таком важном навыке SRE-инженера, как умение писать код. Но это еще далеко не все, ведь профессия, как известно, не из легких. Одной из следующих важных областей знаний является системное администрирование и автоматизация процессов. Скажем пару слов и о них.

Как известно, еще не так давно при обработке больших данных активно применялся MapReduce -- Hadoop-компонент, положивший начало Big Data-обработке. Однако сегодня можно сказать, что у этого инструмента есть 2 основные проблемы:

У всех нас есть лай­фха­ки и инс­тру­мен­ты, уско­ряющие работу с опре­делен­ными задача­ми и сис­темами. У девоп­сов и адми­нис­тра­торов обла­ков таких инс­тру­мен­тов дол­жно быть едва ли не боль­ше всех, потому что сер­висов, с которы­ми работать, — мно­го, а тер­минал один. В этой статье я делюсь сво­им опы­том работы с облачны­ми сис­темами и решени­ем мел­ких задач, которые воз­ника­ют каж­дый день.

Apache Spark — платформа, используемая в Big Data для крупномасштабной обработки данных и кластерных вычислений. Spark осуществляет обработку данных непосредственно в оперативной памяти, то есть он редко обращается к диску, следовательно, работает весьма быстро.

С момента выхода Spark 2.3 в 2018 г. Kubernetes стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.

Читать дальше

Helmwave достиг наконец-то своего совершеннолетия. Рассказываю, что нового.

Каждый раз, когда речь идет о разработке и внедрении новой функциональности в вашем продукте, нужно измерять результат действий. Отсутствует количественная метрика? Отсутствует понимание эффективности. Улучшились ли показатели, изменилась ли конверсия, есть ли выручка, повысилась ли скорость работы? Заработали ли вы вообще на новой фиче либо только потерпели убытки? Для всего этого и существует мониторинг приложений.