Блог DevOps → Полезные материалы по DevOps | OTUS

Курсы

Программирование
Разработчик на Spring Framework C# ASP.NET Core разработчик iOS Developer. Basic Специализация iOS iOS Developer. Professional Архитектура и шаблоны проектирования Разработчик программных роботов (RPA) на базе UiPath и PIX Разработчик IoT Node.js Developer Java Developer. Professional
-19%
Microservice Architecture Unreal Engine Game Developer Scala-разработчик Java Developer. Basic HTML/CSS Специализация C++ Developer C++ Developer. Professional Android Developer. Professional
-20%
PostgreSQL для администраторов баз данных и разработчиков
-20%
Алгоритмы и структуры данных Специализация PHP Developer C# Developer. Professional Специализация C# Kotlin Developer. Basic Web-разработчик на Python Team Lead NoSQL Symfony Framework Unity Game Developer. Professional Буткемп Java Groovy Developer
Специализации Курсы в разработке Подготовительные курсы Подписка
+7 499 938-92-02
Лайфхаки для DevOps: ZSH, Screen и tmux, JQ

У всех нас есть лай­фха­ки и инс­тру­мен­ты, уско­ряющие работу с опре­делен­ными задача­ми и сис­темами. У девоп­сов и адми­нис­тра­торов обла­ков таких инс­тру­мен­тов дол­жно быть едва ли не боль­ше всех, потому что сер­висов, с которы­ми работать, — мно­го, а тер­минал один. В этой статье я делюсь сво­им опы­том работы с облачны­ми сис­темами и решени­ем мел­ких задач, которые воз­ника­ют каж­дый день.

Основные компоненты Apache Spark

Apache Spark — платформа, используемая в Big Data для крупномасштабной обработки данных и кластерных вычислений. Spark осуществляет обработку данных непосредственно в оперативной памяти, то есть он редко обращается к диску, следовательно, работает весьма быстро.

Путь "Spark on Kubernetes"

С момента выхода Spark 2.3 в 2018 г. Kubernetes стал, по сути, новым диспетчером для Spark в крупных компаниях, которые возглавляют проект: Google, RedHat, Palantir, Bloomberg, Lyft. И если поначалу поддержка была экспериментальной, функций было мало, а стабильность наряду с производительностью были невысоки, то с той поры сообщество проекта получило серьезную поддержку от многих компаний, которых заинтересовали следующие достоинства Kubernetes.

Измеряем самое важное: Graphite

Каждый раз, когда речь идет о разработке и внедрении новой функциональности в вашем продукте, нужно измерять результат действий. Отсутствует количественная метрика? Отсутствует понимание эффективности. Улучшились ли показатели, изменилась ли конверсия, есть ли выручка, повысилась ли скорость работы? Заработали ли вы вообще на новой фиче либо только потерпели убытки? Для всего этого и существует мониторинг приложений.

DataOps: на пути к Data-driven company

В цифровой экономике бизнес уже не способен расти лишь физически благодаря расширениям и приобретениям — главным методом его масштабирования в итоге становится выполнение оптимизации бизнес-моделей на основе данных. Современным средством построения компании, управляемой данными, является DataOps. Что же должна сделать организация, которая планирует стать Data-driven company?

DataOps в BigData: методы и средства реализации

Как и в случае с DevOps, когда разработка и эксплуатация, по сути, интегрированы в единый процесс взаимодействия специалистов по разработке кода, тестированию, развертыванию и поддержке, концепция DataOps тоже реализует идею по непрерывной интеграции, доставке и обработке данных. Для этого в проектах Big Data применяют:

Кратко о DataOps. Предпосылки появления

DataOps (DATA Operations, датаопс) представляет собой набор практик по непрерывной интеграции данных между процессами, системами и командами. Реализация соответствующей концепции повышает эффективность корпоративного управления/отраслевого взаимодействия благодаря ряду плюсов:

Инструменты SRE-инженера: девелопмент

SRE-инженер -- профессия не из легких, плюс она сочетает в себе 2 довольно трудоемких направления — это разработка и эксплуатация. Давайте подробнее рассмотрим первое из них.