Специальная цена
Data Quality
26 ноября
3 месяца
Онлайн
Пн/Ср 20:00 Мск
Для кого этот курс?
Аналитики и дата-инженеры, которые работают с данными
- BI-аналитики, Data Analysts, Data Quality Analysts, Data Engineers, Data Quality Engineers, ML-инженеры
- Вы сталкиваетесь с проблемами качества данных и хотите научиться находить и устранять их, автоматизировать контроль качества
Менеджеры данных и специалисты по Data Governance
- Data Stewards, Data Governance Managers, Product Owners в области данных
- Вы отвечаете за процессы управления данными и вам нужно выстроить контроль качества данных на уровне компании. Вы хотите понимать, как внедрить правила, стандарты и процессы
Руководители и специалисты по цифровой трансформации
- Chief Data Officers (CDO), IT-директора, менеджеры цифровых проектов
- Вы хотите повысить зрелость управления данными в компании, снизить риски, связанные с плохим качеством данных, внедрить стандарты Data Governance
Необходимые знания
- Понимание работы с данными – опыт работы с таблицами, SQL, Excel или BI-инструментами
- Базовые знания SQL – умение писать простые запросы (SELECT, JOIN, WHERE)
- Знание Python для аналитики данных
- Общий опыт работы с корпоративными данными – понимание, как хранятся и обрабатываются данные в компаниях
Что даст вам этот курс?
Аналитикам и дата-инженерам:
- Научитесь выявлять проблемы качества данных, использовать метрики и автоматизировать проверки
- Освоите инструменты по обеспечению качества данных и научитесь внедрять их в работу
- Улучшите качество данных для построения более точной аналитики и моделей
Менеджерам данных и DG-специалистам:
- Разберетесь, как Data Quality встроено в Data Governance и как управлять им на уровне процессов
- Освоите Data Lineage, Data Contracts и инцидент-менеджмент
- Разработаете стандарты и правила контроля качества данных в компании
Руководителям и специалистам по цифровой трансформации:
- Сможете понять, как плохое качество данных влияет на бизнес-решения и прибыль
- Разработаете стратегию управления качеством данных на уровне компании
- Внедрите Data Quality как часть корпоративной культуры и процессов
После обучения вы сможете:
- Внедрять процессы Data Quality и Data Governance в компании;
- Автоматизировать контроль качества данных с помощью современных инструментов
- Работать с метаданными, Data Catalog, Data Lineage и управлять бизнес-терминами
- Настраивать и оптимизировать проверки качества данных (DQ Checks)
- Выстраивать взаимодействие между бизнесом, IT и аналитиками для управления данными
Дополнительно на курсе вы:
-
Будете работать над проектами, которые можно адаптировать под свою текущую работу, создавая решения для реальных задач
-
Изучите современные инструменты и актуальные решения и сможете использовать их в реальных проектах
Инструменты, которые вы освоите:
- Soda – инструмент для автоматизации контроля качества данных. Он позволяет настроить проверки качества данных, отслеживать ошибки и генерировать отчёты для принятия решений
- OpenMetadata – платформа для управления метаданными, которая позволяет строить Data Catalog, отслеживать lineage данных и организовывать процессы Data Governance
- Airflow – инструмент для автоматизации рабочих процессов и ETL-пайплайнов. Он помогает создавать, планировать и отслеживать задачи в рамках данных процессов, обеспечивая прозрачность и контроль
- NiFi – платформа для автоматизации потоков данных. NiFi используется для интеграции данных из различных источников, их преобразования и загрузки в нужные системы
Процесс обучения
Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Оптимальная нагрузка
Возможность совмещать учебу с работой
Портфолио
Индивидуальная разработка итоговой проектной работы
Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход
Партнеры
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на интервью
- Участвуйте в карьерных мероприятиях: там мы разбираемся, как составить резюме
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов
Программа
Data Quality: Бизнес-контекст, основы и ценность
В этом модуле вы разберёте, что такое Data Quality и почему его важно контролировать. Узнаете, какие проблемы возникают из-за плохого качества данных, какие существуют методологии, как строится процесс управления качеством данных в компании, и как обосновать его ценность для бизнеса.
Тема 1: Введение в Data Quality
Тема 2: Основные проблемы данных: дубликаты, пропуски, несоответствия, аномалии
Тема 3: Как обосновать ценность Data Quality: расчёт ROI и аргументы для руководства
Тема 4: Методологии Data Quality: DMBOK, ISO 8000, Data Observability
Тема 5: Data Governance vs. Data Quality – как связаны эти процессы
Тема 6: Стандартизация данных: создание глоссария, оценка метрик и интеграция в процессы
Тема 7: Кто отвечает за качество данных: роли, зоны ответственности
Тема 8: QA-сессия + разбор реальных инцидентов качества данных и практических заданий
Оценка Data Quality: Метрики, профилирование и автоматизация
В этом модуле вы научитесь оценивать качество данных, вычислять основные метрики и разрабатывать правила проверки. Разберёте, как строить отчёты и дашборды.
Тема 1: Метрики качества данных и стратегия внедрения
Тема 2: Разработка бизнес-правил проверки данных
Тема 3: Data Profiling: как анализировать данные и находить ошибки
Тема 4: QA-сессия и разбор практического кейса
Инструменты: Интеграция, автоматизация и ML-валидация
В этом модуле вы рассмотрите различные инструменты для автоматизации контроля качества данных, изучите, как встроить их в архитектуру компании, в процессы ML и инженерных команд. Познакомитесь с OpenMetadata, Soda, dbt tests и другими решениями для контроля и управления данными, а также сравните эти решения.
Тема 1: Инструменты DQ для РФ: сравнительный анализ и выбор
Тема 2: Интеграция DQ-инструментов в существующую архитектуру данных
Тема 3: Настройка проверок качества данных
Тема 4: Как построить мониторинг качества данных: дашборды и алерты
Тема 5: Data Quality в ML: валидация данных и борьба с дрифтом
Тема 6: QA-сессия + практическое задание
Управление DQ: Инциденты, регуляторика и Data Products
В этом модуле вы научитесь управлять инцидентами, выполнять регуляторные требования, проектировать Data Products (контракты, Data Mesh) и коммуницировать проблемы DQ бизнесу.
Тема 1: Управление инцидентами: процесс Data Quality Incident Management
Тема 2: Операционные метрики DQ: как принимать решения на основе данных
Тема 3: Регуляторные требования: GDPR, 152-ФЗ и предотвращение штрафов
Тема 4: Data Contracts и Data Mesh: распределённая ответственность за качество
Тема 5: Data Storytelling: как визуализировать и презентовать DQ-проблемы бизнесу
Тема 6: Повышение data literacy в компании: стратегии и практики
Тема 7: QA-сессия + анализ реальных кейсов
Проектная работа
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Тема 4: Подведение итогов курса
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
Каждый курс завершается финальным проектом, который предстоит защитить перед преподавателями и командой. Вам будет, что обсудить на собеседовании!
В проектной работе вы получите набор сырых данных из разных источников, содержащий ошибки и несоответствия. Ваша задача – провести анализ качества данных, выявить ключевые проблемы и разработать правила проверки. Далее вам предстоит настроить отчётность по качеству данных, предложить стратегию их улучшения и подготовить презентацию.
Преподаватели
Александр Бергер
Wildberries
Lead Data Quality
Руководитель направления Data Quality с уникальным межотраслевым опытом. Эксперт в области Data Quality и Data Governance, специализирующийся на внедрении open-source решений и выстраивании методологий управления данными в больших компаниях. Руководит направлением Data Quality в Wildberries, ранее развивал DQ и DG в СИБУРе и работал в банковском секторе. Обладает редким сочетанием стратегического видения, аналитической методологии и управленческого опыта. Разрабатывает и внедряет системы контроля качества данных, выстраивает команды и формирует стандарты DQ в сложных корпоративных средах. Убежден, что его продукты по Data Quality не имеют себе равных на рынке как по функционалу, так и по методике донесения их ценности до бизнеса. Выступает с докладами и развивает образовательные программы по Data Quality.
Преподает на курсах
- Data Quality
Татьяна Водовозова
FinTech
Руководитель направления DWH аналитики
Около 10 лет опыта в ИТ аналитике, в том числе в проектах, связанных с построением и развитием хранилищ данных. Участвовала в проектах по созданию унифицированной модели хранилища для консолидации данных и построения вирин под запросы заказчика. Используемые технологии AWS, Snowflake, Oracle. Вела проект по миграции данных из MS SQL и Oracle на Postgres. На текущий момент занимается проектом по трансформации хранилища данных и развития рекрутинговой системы на стеке Microsoft (MS SQL, Power BI). Образование: Самарский Государственный Университет, МехМат Otus Certified Educator
Преподает на курсах
- Data Warehouse Analyst
- Data Quality
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Что будет на вебинаре:
- Разбор ключевых ролей, вовлечённых в обеспечение качества данных — от Data Steward до Data Engineer и Product Owner;
- Обсуждение зон ответственности каждой роли и примеров взаимодействия в рамках Data Quality-процессов;
- Демонстрация типичных ошибок распределения ролей и их влияния на качество данных;
- Практические кейсы по построению эффективной модели ответственности (RACI) в проектах по управлению данными.
Чему научатся участники:
- Определять ключевых участников процессов обеспечения качества данных;
- Формировать распределение ответственности между членами команды;
- Понимать, как организационная структура влияет на качество данных;
- Применять принципы ролевого взаимодействия для повышения зрелости Data Quality в компании.
Что будет на вебинаре:
- Разберем, как классифицировать метрики качества данных: по техническим измерениям (полнота, валидность и др.) и их связи с бизнес-показателями;
- Обсудим как разрабатывать действенные метрики и KPI, которые закрывают конкретные бизнес-требования и боли компании;
- Рассмотрим пошаговую стратегию внедрения системы мониторинга DQ: от пилотного проекта до полномасштабной интеграции в рабочие процессы;
- Поговорим о инструментах и подходах для постоянного трекинга и контроля качества данных.
Чему научатся участники:
- Классифицировать метрики качества данных и понимать их предназначение в бизнес-контексте;
- Разрабатывать собственные метрики, которые напрямую влияют на принятие решений и снижают риски;
- Планировать поэтапную стратегию внедрения метрик в своей компании, избегая распространенных ошибок;
- Создавать основу для своего собственного каталога метрик DQ — ключевого артефакта для управления качеством данных.
Этот курс может оплатить ваш работодатель
- Подробно расскажем об интересующем вас курсе
- Объясним, как договориться с работодателем
- Сообщим стоимость обучения и варианты оплаты
- Ответим на вопросы
- Предоставим шаблон договора и счёт на оплату
Подтверждение знаний и навыков
OTUS осуществляет лицензированную образовательную деятельность. В конце обучения вы получите сертификат OTUS о прохождении курса и удостоверение о повышении квалификации.
После обучения вы:
- Получите материалы по пройденным занятиям (видеозаписи курса и дoполнительные материалы)
- Создадите свой проект, который поможет при прохождении собеседований
- Повысите свою ценность и конкурентоспособность как IT-специалист
- Получите сертификат об окончании курса
Data Quality
Полная стоимость со скидкой
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Оставьте заявку и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно