Шардирование в HighLoad-системах | OTUS
⚡ Подписка на курсы OTUS!
Интенсивная прокачка навыков для IT-специалистов!
Подробнее

Курсы

Программирование
Python Developer. Professional
-3%
Разработчик на Spring Framework
-5%
iOS Developer. Professional
-8%
Golang Developer. Professional
-6%
Базы данных
-12%
Agile Project Manager
-5%
Android Developer. Professional
-11%
Microservice Architecture
-5%
C++ Developer. Professional
-5%
Highload Architect
-6%
JavaScript Developer. Basic
-8%
Backend-разработчик на PHP
-9%
Разработчик IoT
-13%
PostgreSQL
-8%
Подготовка к сертификации Oracle Java Programmer (OCAJP) Framework Laravel Cloud Solution Architecture Reverse-Engineering. Professional Архитектура и шаблоны проектирования Node.js Developer Интенсив «Оптимизация в Java» Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes iOS Developer. Basic Супер-интенсив «СУБД в высоконагруженных системах» Супер-интенсив "Tarantool"
Инфраструктура
DevOps практики и инструменты
-12%
Базы данных
-12%
Network engineer. Basic
-10%
Network engineer
-4%
Экcпресс-курс «ELK»
-10%
Инфраструктурная платформа на основе Kubernetes
-6%
Administrator Linux.Basic
-10%
Экспресс-курс «CI/CD или Непрерывная поставка с Docker и Kubernetes»
-30%
Дизайн сетей ЦОД
-13%
PostgreSQL
-8%
Разработчик программных роботов (RPA) на базе UiPath и PIX Reverse-Engineering. Professional Внедрение и работа в DevSecOps Administrator Linux. Advanced Infrastructure as a code in Ansible Супер - интенсив по паттернам проектирования Супер - интенсив по Kubernetes Экспресс-курс «IaC Ansible»
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

Шардирование в HighLoad-системах

Как поступить, если данные больше не влезают на один сервер? Существуют 2 классических механизма масштабирования:

  1. Вертикальное масштабирование. Мы просто добавляем на сервер память и диски. Эффективно, но имеет свои пределы, например, мы ограничены по числу ядер на процессор, по числу самих процессоров, ну и, разумеется, по объёму памяти.
  2. Горизонтальное масштабирование. Мы применяем много машин, распределяя данные между ними. Наборы таких машин называют кластерами. Если мы хотим поместить данные в кластер, нам надо их шардировать — определить для каждой записи, на каком именно сервере она будет размещена.

Параметр, по которому наши данные распределяются между серверами (к примеру, идентификатор клиента либо организации), называют ключом шардирования.

Давайте представим, что нам надо записать в кластер информацию про всех жителей планеты. В роли ключа шарда мы можем взять, допустим, год рождения человека. В таком случае нам будет достаточно 116-ти серверов (правда, каждый год нам придётся добавлять новый сервер). Также мы можем взять в виде ключа страну проживания — тогда потребуется около 250-ти серверов. Однако первый вариант предпочтительнее, ведь дата рождения человека, в отличие от страны проживания, не меняется, следовательно, перекидывать данные о человеке между серверами не придётся.

zr8hszqcct_xf5q07gcow3cf7lu_2-1801-1af047.png

Если речь идёт о работе облачной системы, например, по автоматизации бизнес-процессов, то здесь в качестве ключа шардирования можно взять и организацию. Но компания компании рознь, ведь организации отличаются по размеру и количеству пользователей. Присваивая организации определенный сервер, мы заранее не знаем, насколько она вырастет. А если компания использует сервис очень активно, может наступить момент, что её данные не будут вмещаться на один сервер, следовательно, придётся делать решардинг. А это уже совсем непросто, особенно если таких данных — терабайты. А теперь представьте хайлоад-систему, где каждую секунду осуществляются транзакции. Как перемещать данные с места на место в таких условиях? И остановить систему смерти подобно, ведь большие объёмы данных могут перекачиваться несколько часов, а бизнес-заказчики вряд ли переживут столь долгий простой.

Совет тут один — лучше всего в качестве ключа шардирования выбирать данные, которые меняются редко. К сожалению, далеко не всегда прикладная задача позволяет нам легко это сделать.

Статья подготовлена по материалам блога компании Pyrus.

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться