⚡ Открываем подписку на курсы!
Проходите параллельно 3 онлайн-курса в месяц по цене одного.

Подробнее

help@otus.ru +7 499 938-92-02

Рекрутерам Отзывы FAQ Блог Контакты

+7 499 938-92-02

Специальная цена

Нереляционные базы данных

Общая стоимость

37 000 ₽

45 000 ₽

В рассрочку

-17%

Обучить сотрудников

Длительность обучения:

Формат:

Начало занятий:

Дни занятий:

5 месяцев

4 ак. часа в нед.

Online

30 сентября

Сб 10:00, Ср 20:00

Общая стоимость

37 000 ₽

45 000 ₽

В рассрочку

-17%

Обучить сотрудников

Что даст вам этот курс

Самый полный курс по работе с NoSQL БД. Cassandra, MongoDB, Redis, ClickHouse, Tarantool, Kafka, Neo4j, RabbitMQ

Курс включает в себя все основные и популярные NoSQL БД, которые могут пригодиться как архитектору, так и администратору и разработчику: документоориентированые, колоночные, ключ-значение, графовые и тд.

Дополнительно на курсе посвящен модуль баз данных в разных облаках, ElastikSearch и S3.

Курс обеспечивает глубокое погружение в область NoSQL, чтобы вы смогли оптимально перестроить свои решения на основе классических СУБД для увеличения производительности.

Цель курса — научить слушателя правильно выбрать NoSQL БД в зависимости от поставленных задач и эффективно работать с ней с использованием всех ее преимуществ.

В результате обучения выпускники смогут уверенно работать с любой NoSQL БД, проектировать систему хранения, индексы, профилировать запросы и обеспечивать оптимальную надежность и производительность.

Этот курс подойдет:

- для разработчиков, которые сталкиваются в своей работе с NoSQL базами данных;
- для администраторов NoSQL БД, которым требуется глубокое понимание внутренних процессов БД;
- для тех, кто имеет опыт работы с реляционными СУБД от полугода и ищет как улучшить производительность.

На курсе вы:

- научитесь устанавливать и эксплуатировать все популярные NoSQL решения от выделенных виртуальных серверов, до больших шардированных кластеров и облачных провайдеров;
- будете различать основные типы NoSQL БД (документо-ориентированные, колоночные, ключ-значение, графовые) и выбарать оптимальное решение в зависимости от вашей задачи и предметной области;
- освоите синтаксис и особенности работы встроенного языка каждой NoSQL БД;
- сможете оптимизировать медленные запросы.

Преподаватели

Евгений Аристов

Более 20 лет разработки ПО на C#, Delphi, PHP, Perl, в т.ч. с базами данных MSSQL, Oracle, MySQL, MariaDB, MongoDB, PostgreSQL.

Спроектировал и написал ПО для сетей магазинов, фитнес-центров, отелей.

Последние 4 года разрабатываю на Java/Spring с деплоем в Kubernetes/Docker, Google Cloud Platform

Большой опыт администрирования серверов, построения и эксплуатации систем виртуализации VmWare ESXi, Hyper-V.

Руководитель программы

Евгений
Аристов

Иван
Ремень

Александр
Суханов

Олег
Филиппов

Алексей
Цыкунов

Владислав
Родин

Валерий
Безруков

Павел
Стрекалов

Преподаватели

Евгений Аристов

Иван Ремень

Автор курса "Архитектор высоких нагрузок".

Учился в технопарке Mail.Ru. В 2013 году начал работать стажером в проекте "Почта" компании Mail.Ru. С 2015 года преподавал различные (в том числе и авторские) курсы в образовательных проектах Mail.Ru. С 2016 года занимал должность руководителя группы в Почте. В том же году получил диплом магистра по специальности "Программная инженерия" в МГТУ им. Н.Э. Баумана.

С 2018 года начал работать в Ситимобил на должности руководителя группы. С апреля 2019 года был назначен руководителем направления серверной разработки. Занимается развитием технических навыков людей, поддержкой их мотивации, развитием отказоустойчивых архитектур, внедрением новых технологий в процесс разработки (golang, tarantool).

Основные технические навыки:
Golang
C
MySQL
Tarantool
Highload architecture
Linux API

Преподаватель

Александр Суханов

Разрабатывает Machine Reasoning Engine в Cisco Systems.
C 2017 года работает в Кремниевой долине.
Преподавал курс по Decentralized Applications (CS359B) в Стэнфорде.
Побеждал на хакатоне SpaceHack и всероссийском конкурсе проектов «IT-Прорыв».
Участвовал в чемпионате мира по программированию ACM ICPC.

Закончил МГТУ им. Баумана с отличием.
Занимался legal tech, блокчейн-проектами, HL/HA проектами, разработкой беттинг-платформы, сбором и аналитикой персональных данных из социальных сетей, внедрением CI/CD.

Преподаватель

Олег Филиппов

- Более 12 лет опыта руководства разработкой и эксплуатацией.
- Большое число реализованных проектов (в т.ч. высоконагруженных) в основном, в Enterprise-секторе.
- Опыт проектирования и эксплуатации как RDBMS так и NoSQL решений в одном проекте для разных задач.
- Автор многочисленных статей в журналы и профессиональные сообщества, участник и докладчик профессиональных конференций.
- Два высших образования, степень MBA.

Алексей Цыкунов

Lead System Engineer в EPAM

Системный архитектор, Oracle DBA, разработчик perl/python, опыт в отрасли - 20 лет
Работал в интернет-провайдерах и телекоме. Имел опыт внедрения и разработки продуктов в гос. структурах, таких как минздрав и соцфонд. Был главным разработчиком стартап проекта Ipstudio AMBS (биллинг для VoIP). Участвовал в проектировании и разработке OLTP систем. Проектировал и развертывал серверные системы в датацентрах.

Закончил Кыргызско-Российский Государственный Университет, 2001, Инженер автоматизированных систем. Собственный технический блог на dbadmins.ru

Преподаватель

Владислав Родин

В настоящее время занимает должность руководителя группы разработки, преподает в Московском Физико-Техническом Институте и на портале foxminded.

Выпускник МФТИ, начал программировать на С++, работал инженером-исследователем на проекте вычислительного программного комплекса МФТИ.

С 2017 года занимается Java Enterprise разработкой.

Работал Java-разработчиком в таких компаниях как НСПК и Яндекс. Занимался проблемами высокой нагрузки, работая как на Spring'овом стеке (Spring Boot, Spring Core, Spring Data, Spring Batch и т.д.) так и на Java EE'шном стеках. Улучшал инфраструктуру проектов, внедряя CI/CD и отлаживая процесс миграции БД. Строил С4- архитектурные схемы для проектов, в которых принимал участие.

Является автором статей по backend-разработке на habr.com; спикер Рит++ 2020; обладатель сертификата Oracle Certified Assotiate Java SE 8 Programmer.

Преподаватель

Валерий Безруков

Google Cloud Practice Delivery Manager в EPAM Systems
В прошлом SRE & DevOps team lead в Intelligent Blockchain Labs.

Разрабатывал и поддерживал гибридные облачные и высоконагруженные системы (Google Cloud Platform, OpenStack, Hashicorp Terraform)

Занимался развертыванием, эксплуатацией и поддержкой CI/CD (GitLab CI, Hashicorp Nomad, Kubernetes).

Опыт со следующим стеком технологий : Kubernetes/Docker , Unix/Solaris/Linux, OpenStack, Oracle/PostgreSQL/Hadoop, Google Cloud Platform

Преподаватель

Павел Стрекалов

Ведущий специалист в АО «Гринатом».
Более 10 лет опыта профессиональной разработки.
Основной стек: .NET / C#, Java, MS SQL Server.

Full stack разработка систем для внутренних и внешних заказчиков от анализа требований до реализации, эксплуатации и технической поддержки.

Закончил в 2006 году Московский институт электронной техники (МИЭТ) по специальности «Вычислительные машины комплексы системы и сети».

Преподаватель

Большинство демонстраций будет на Линукс, поэтому желательно базовое понимание Linux или Docker

Подробная программа PDF 186 kb

Программа обучения

Модуль 1

Введение в NOSQL

Модуль 2

Document Store

Модуль 3

Key-Value

Модуль 4

Колоночные

Модуль 6

Графовые

Модуль 7

Другие NoSQL

Модуль 8

NoSQL в облаках

Модуль 9

Проект

Подробная программа PDF 186 kb

Введение в NOSQL

Тема 1: Введение в NOSQL. NOSQL vs RDBMS

сравним NoSQL и RDBMS
история NoSQL
рассмотрим программу курса

30 сентября, 20:00 — 21:30

Тема 2: CAP теорема

cAP теорема
CP системы. RAFT, PAXOS
PA системы. GOSSIP, CasPAXOS

3 октября, 10:00 — 11:30

Домашние задания: 1

1 CAP теорема

Цель: Базовое дз. Научимся работать с гитом

Document Store

Тема 1: Базовые возможности mongodb

понятие коллекции, документов и полей.
CRUD-операции.
Филтрация по полям
sort, skip, limit
Запросы по поддокументам

7 октября, 20:00 — 21:30

Домашние задания: 1

1 MongoDB

Цель: Научиться разворачивать MongoDB, заполнять данными создавать индексы и делать запросы

Тема 2: Кластерные возможности mongodb

варианты репликации.
Replica set.
Концепция кворума.
Балансировка.
Подходы к шардированию в БД.
Шардирование в mongodb: mongos
Правильный выбор ключа шардирования

10 октября, 10:00 — 11:30

Тема 3: map-reduce framework

концепция map-reduce.
Зачем нужен map-reduce в mondodb
Концепция pipeline.
Структура и синтаксис агрегации.
$match
Стадия $group
Стадия $lookup
работа с геоданными

14 октября, 20:00 — 21:30

Тема 4: Утилиты mongodb

настройки mongodb
Мониторинг mongodb
Обеспечение безопасности кластера
Обеспечение бэкапа

17 октября, 10:00 — 11:30

Тема 5: оптимизация производительности mongodb

профилирование
Построение индексов.
Виды индексов в mongodb
Оптимизации CRUD.
Дисковые движки.
GridFS
Производительность кластеров

21 октября, 20:00 — 21:30

Домашние задания: 1

1 MongoDB 2

Цель: Настроить реплицирование и шардирование, аутентификацию в кластере. Проверить отказоустойчивость

Тема 6: Couchdb + pouchdb

- Концепция OffilneFirst. Для чего появился тот самый CouchDB
- master-master репликация в два клика
- pouchdb - JavaScript версия CouchDB, когда Offline действительно важен
- Fauxton - краткий обзор визуального интерфейса
- CouchBase - если ваш проект очень сильно вырос

24 октября, 10:00 — 11:30

Тема 7: Elasticsearch

1) Основные модели использования ElasticSearch
2) Архитектура и компоненты ElasticSearch
3) Откуда взялось выражение "ELK стек" и его актуальность
4) Установка и настройка ElasticSearch
5) Создание и настройка индексов
6) Типы запросов ElasticSearch и особенности их применения
7) Kibana - основы интерфейса и использования

28 октября, 20:00 — 21:30

Домашние задания: 1

1 ElasticSearch

1) Установить ElasticSearch
2) Создать индекс с одним полем типа "текст"
3) добавить 3 записи в индекс "яблоко", "яблако", "апельсин"
4) Написать запрос с условием нечеткого поиска при котором должны находиться и "яблоко" и "яблако".
Сдавать нужно определение индекса и текст запроса

Key-Value

Тема 1: Redis. Часть 1

области применения
внутренние структуры
очереди, транзакции

31 октября, 10:00 — 11:30

Тема 2: Redis. Часть 2

кластеризация
redis sentinel
redis cluster

4 ноября, 20:00 — 21:30

Домашние задания: 1

1 Redis

Cохранить большой жсон (~20МБ) в виде разных структур - строка, hset, zset, list, протестировать скорость сохранения и чтения, предоставить отчет

* настроить редис кластер на 3х нодах с отказоусточивостью, затюнить таймоуты

Тема 3: Riak

Основы работы с Riak
Архитектура и возможности

7 ноября, 10:00 — 11:30

Тема 4: etcd

Основы работы с etcd
Архитектура и возможности

11 ноября, 20:00 — 21:30

Колоночные

Тема 1: Архитектура и применение cassandra

-- DynamoDB-подобные базы
-- Column-family модель
-- LSM-деревья
-- Фильтр Блума
-- Работа Cassandra с диском
-- Уплотнение
-- Какие проекты работают с Cassandra
-- Зачем в этих проектах применяется Cassandra

14 ноября, 10:00 — 11:30

Тема 2: Язык запросов cassandra

-- Язык CQL и его отличие от SQL
-- Типы данных в Cassandra
-- DDL: Keyspace, table
-- DML: Select, Insert, Update, Delete, Batch
-- Вторчиные индексы
-- Materialized Views
-- Скалярные и агрегирующие функции
-- Поддержка JSON

18 ноября, 20:00 — 21:30

Тема 3: Масштабирование и отказоустойчивость cassandra. Часть 1

-- Уровни консистентности и Теорема CAP
-- Отказоустойчивость ЦОД
-- Репликация Cassandra и ее стратегии
-- Механизмы отказоустойчивости Cassandra
-- Автоматизация масштабирования Cassandra

21 ноября, 10:00 — 11:30

Домашние задания: 1

1 Масштабирование и отказоустойчивость Cassandra. Часть 1. - Домашнее Задание

Цель: Подготовить среду и развернуть Cassandra кластер для дальнейшего изучения возможностей маштабирования и восстанавления Cassandra кластеров.

Тема 4: Масштабирование и отказоустойчивость cassandra. Часть 2

- автоматизация масштабирования Cassandra
- чтение и компакшен в Cassandra
- механизмы восстановления Cassandra
- драйверы и политики Cassandra

25 ноября, 20:00 — 21:30

Домашние задания: 1

1 Масштабирование и отказоустойчивость Cassandra. Часть 2 - Домашнее Задание

Цель: Изучить сторонние возможности восстанавления Cassandra кластеров. Замерит производительность вашего кода.

Тема 5: Средства мониторинга cassandra

-- Безопасность cassandra
-- Обзор базовых метрик cassandra
-- Настройка grafana для мониторинга cassandra
-- Бэкапы
-- Инструменты cassandra: sstableverify, sstableutil, sstableupgrade, sstabledump, sstableexpiredblockers, sstablelevelreset, sstableloader

28 ноября, 10:00 — 11:30

Тема 6: Clickhouse

когда Clickhouse полезен а когда не стоит его использовать
Установка и настройка
Интерфейсы (Cli, Tabix, плагин к Grafana)
Протоколы доступа (http, tcp и базовые библиотеки)
Основные движки таблиц Clickhouse и их особенности
Движок MergeTree и его специфика
Использование совместно с Kafka и PostgreSQL

2 декабря, 20:00 — 21:30

Домашние задания: 1

1 ClickHouse

Используя туториал https://clickhouse.tech/docs/ru/getting-started/tutorial/ :
1. развернуть БД
2. выполнить импорт тестовой БД
3. выполнить несколько запросов и оценить скорость выполнения.
Дз сдается в виде миниотчета

Графовые

Тема 1: Neo4j, часть 1

Особенности графовых баз данных
Использование графовых баз данных в продакшене
Тюнинг графовой БД

5 декабря, 10:00 — 11:30

Тема 2: Neo4j, часть 2

Основные юзкейсы для графовой БД
Архитектура Neo4J

9 декабря, 20:00 — 21:30

Домашние задания: 1

1 Neo4j

сделать базу данных для своего круга знакомых (кто с кем общается)
или
сделать базу данных для авиакомпании (как куда лететь и за какую цену)

Другие NoSQL

Тема 1: InterSystems Caché

история ООП СУБД
Архитектура, особенности InterSystems Caché
Глобалы, модель данных
Пример разработки БД

12 декабря, 10:00 — 11:30

Домашние задания: 1

1 Cache

Развернуть Каше. Разработать БД для простейшего магазина с сущностями: заказы, позиции заказа, заказчик по методичке в материалах

Тема 2: Работа с tarantool

основы работы с СУБД tarantool
Архитектура, возможности
научимся строить высоконапряженные решения на ее базе

16 декабря, 20:00 — 21:30

Домашние задания: 1

1 Работа с tarantool

Написать на тарантуле биллинг реального времени облачной системы. Должны быть хранимые процедуры:
- Добавление денег на баланс
- Измненение расхода денег в секунду.

Когда баланс становится равным нулю, тарантул по http должен сделать GET-запрос на какой-либо внешний урл, где передать userID пользователя, у которого кончились деньги (запрос на отключение виртуальных машин). Этот вызов должен происходить как можно быстрее после окончания денег на счете.

Для реализации рекомендуется использовать библиотеку expirationd.

Использовать шардинг на основе vshard.

Тема 3: Kafka

- Kafka. Обзор и Архитектура
- Kafka Топики. Партишены и Реплики
- Основные операции на кластере
- Понимание кластерных метрик и того как их интерпретировать
- Понимание Producer API Kafka
- Понимание Consumer API Kafka
- Понимание Streams API Kafka
- Работа с запросами KSQL
- Kafka и Avro, работа с реестре схем
- Возможность интеграции Kafka с внешними системами данных с использованием Kafka Connect

19 декабря, 10:00 — 11:30

Тема 4: RabbitMQ

Основы работы с RabbitMQ
Архитектура и возможности

23 декабря, 20:00 — 21:30

Тема 5: s3

протокол S3
CEPH
фичи и ограничения s3: версионирование и другие

26 декабря, 10:00 — 11:30

NoSQL в облаках

Тема 1: Google BigQuery

bigQuery - уникальное аналитическое хранилище данных доступное только в Google Cloud

30 декабря, 20:00 — 21:30

Тема 2: AWS DynamoDB

Основы работы с AW DynamoDB
Архитектура и возможности

2 января, 10:00 — 11:30

Тема 3: Azure CosmosDB

- Azure Cosmos DB. Обзор и Архитектура
- Azure Cosmos DB. Глобальное распределение данных и доступность
- Azure Cosmos DB. Пропускная способность, масштабируемость, RU/sec
- Обзор SQL API в Azure Cosmos DB
- Обзор Cassandra API в Azure Cosmos DB
- Обзор MongoDB API в Azure Cosmos DB
- Обзор Gremlin API в Azure Cosmos DB
- Обзор Table API в Azure Cosmos DB
- Выбор подходящего API (SQL, Cassandra, MongoDB, Gremlin, Table) для Azure Cosmos DB
- Добавление данных в Azure Cosmos DB и доступ к ним.
- Хранимые процедуры, транзакции и отслеживание изменений
- Создание приложения для работы с Azure Cosmos DB
- Оптимизация производительности Azure Cosmos DB с помощью стратегий секционирования и индексирования

6 января, 20:00 — 21:30

Домашние задания: 1

1 Облака

Используя одну из облачных БД заполнить ее данными (любого из предыдущих дз) и протестировать скорость запросов.

*сравнить 2-3 облачных NoSQL по скорости загрузки данных и времени выполнения запросов

Проект

Тема 1: Выбор проектной работы

выбрать и обсудить тему проектной работы;
спланировать работу над проектом;
ознакомиться с регламентом работы над проектом.

9 января, 10:00 — 11:30

Домашние задания: 1

1 Проектная работа

Тема 2: Консультация по проектной работе

получить ответы на вопросы по проекту, ДЗ и по курсу.

13 января, 20:00 — 21:30

Тема 3: Защита проектной работы. Подведение итогов курса

защитить проект и получить рекомендации экспертов.

16 января, 10:00 — 11:30

Выпускной проект

Особенность курса — нацеленность на получение студентами практических навыков и быстрая обратная связь. Преподаватель отвечает на вопросы, помогает справляться с возникающими сложностями, проверяет и оценивает домашние задания. Полученные знания закрепляются путем разработки проекта каждым студентом.

Проект будет у каждого студента уникальным. Вы согласуете тему и реализуете проект с преподавателем.

Примеры проектов:
1. Взять несколько миллионов записей, 2-3 NoSql СУБД , залить данные, создать индексы и провести масштабное тестирование скорости обработки запросов на чтение, изменение, удаление данных
2. Реализовать задачу из своей предметной области в одной из NoSQL СУБД. Настроить шардирование и провести масштабное тестирование на отказоустойчивость и просадку производительности при падении нод

После обучения вы

заберете с собой: