Блог DevOps | OTUS

Курсы

Программирование
Выбор профессии в IT
-99%
Разработчик на Spring Framework Python Developer. Basic Специализация Python Developer Python Developer. Professional Golang Developer. Professional Scala-разработчик Специализация iOS Angular Developer JavaScript Developer. Professional Java Developer. Professional Microservice Architecture Highload Architect Node.js Developer Kotlin Backend Developer. Professional Java Developer. Basic HTML/CSS Специализация C++ Developer C++ Developer. Professional PHP Developer. Professional Agile Project Manager PostgreSQL для администраторов баз данных и разработчиков MS SQL Server Developer Unreal Engine Game Developer. Professional Web-разработчик на Python Cloud Solution Architecture Flutter Mobile Developer PHP Developer. Basic Специализация PHP Developer Rust Developer Буткемп Java Unity VR/AR Developer
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
Посты
Системное администрирование и автоматизация в работе SRE-инженера

Мы уже рассказывали о таком важном навыке SRE-инженера, как умение писать код. Но это еще далеко не все, ведь профессия, как известно, не из легких. Одной из следующих важных областей знаний является системное администрирование и автоматизация процессов. Скажем пару слов и о них.

Apache Spark vs Apache MapReduce

Как известно, еще не так давно при обработке больших данных активно применялся MapReduce -- Hadoop-компонент, положивший начало Big Data-обработке. Однако сегодня можно сказать, что у этого инструмента есть 2 основные проблемы:

Лайфхаки для DevOps: ZSH, Screen и tmux, JQ

У всех нас есть лай­фха­ки и инс­тру­мен­ты, уско­ряющие работу с опре­делен­ными задача­ми и сис­темами. У девоп­сов и адми­нис­тра­торов обла­ков таких инс­тру­мен­тов дол­жно быть едва ли не боль­ше всех, потому что сер­висов, с которы­ми работать, — мно­го, а тер­минал один. В этой статье я делюсь сво­им опы­том работы с облачны­ми сис­темами и решени­ем мел­ких задач, которые воз­ника­ют каж­дый день.

Основные компоненты Apache Spark

Apache Spark — платформа, используемая в Big Data для крупномасштабной обработки данных и кластерных вычислений. Spark осуществляет обработку данных непосредственно в оперативной памяти, то есть он редко обращается к диску, следовательно, работает весьма быстро.

Путь "Spark on Kubernetes"

С момента выхода Spark 2.3 в 2018 г. Kubernetes стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.

Измеряем самое важное: Graphite

Каждый раз, когда речь идет о разработке и внедрении новой функциональности в вашем продукте, нужно измерять результат действий. Отсутствует количественная метрика? Отсутствует понимание эффективности. Улучшились ли показатели, изменилась ли конверсия, есть ли выручка, повысилась ли скорость работы? Заработали ли вы вообще на новой фиче либо только потерпели убытки? Для всего этого и существует мониторинг приложений.