Блог DevOps | OTUS
Посты
Повышаем производительность Spark: Broadcasting

Соединение нескольких таблиц является достаточно распространенной операцией в Spark. Как правило, при ее выполнении происходит перетасовка (shuffle), которая за счет перемещений данных между узлами оказывает влияние на производительность. Можно ли избежать этой дорогостоящей операции?

5 фактов про Spark

Spark -- известный open source-фреймворк из экосистемы Hadoop-проектов, позволяющий выполнять распределенную обработку как неструктурированных, так и слабоструктурированных данных. Рассмотрим несколько фактов, которые стали причиной популярности фреймворка.

Трансформация DevOps в DevSecOps

О DevSecOps сказано уже немало. Однако важно понимать, что соответствующая трансформация DevOps в DevSecOps потребует знания как ряда современных технологий, так и некоторых методов обеспечения безопасности ПО. Давайте рассмотрим, какие конкретно технологии могут пригодиться.

DevSecOps: особенности, которые важны

DevSecOps является целой культурой или даже философией, обеспечивающей интеграцию методов безопасности в классический DevOps-процесс. Как и в случае с DevOps, DevSecOps-инженеру не менее важна командная работа, а способности к разрешению конфликтов очень помогут при создании максимально безопасных программных приложений. Таким образом, можно сказать, что с самого начала жизненного цикла программного приложения DevSecOps занимается его безопасностью, обеспечивая создание разнообразных средств защиты.

Эволюция DevOps

15 лет назад DevOps начинался в попытке “подружить” разработку и эксплутацию – через культуру, обмен знаниями и совместную работу. Затем быстро развернулся в сторону ускорения поставки изменений из разработки в продакшн (активность Lean Value Stream Mapping), продолжился в понимание того, что программисты создают не просто код в репозитории (и даже не протестированный код в репозитории), а работающее приложение в продакшне (практики Observability и SRE). И последние несколько лет DevOps перешел к рассмотрению взаимодействие команд на масштабе (фреймворк Team Topologies).

Индикаторы и метрики Devops

Большая ошибка многих рассуждающих в контексте DevOps о “снижении TTM” и необходимости “релизиться чаще” состоит в том, что они рассматривают частоту релизов и время “от коммита до продакшна” как технический показатель. В лучшем случае рассматривают с учетом простоев в цепочке поставке. Они считают, что если автоматизировать все, они смогут релизиться 100 раз в день и догонят и перегонят Google (конечно, для этого автоматизировать нужно “не просто так”, а “по-умному”).

DevOps-инструменты для 1C-разработки. Как может выглядеть процесс?

Мы уже рассказывали о том, что DevOps в 1С есть, пусть и со своей спецификой. Давайте посмотрим, какие инструменты при этом используются, и как может выглядеть процесс в целом.

Eventrouter — отслеживаем события ресурсов в кластере

Eventrouter представляет собой относительно простой и удобный Kubernetes-инструмент. Его цель -- мониторинг событий ресурсов в кластере с последующей отправкой соответствующих уведомлений. При этом приемник этих уведомлений способен обеспечивать долгосрочное хранение событий в Kubernetes. А это не может не радовать, т. к. они становятся доступными как для отладки в случае необходимости, так и для долгосрочного системного анализа.

Популярное
Сегодня тут пусто