Data Quality
26 ноября
3 месяца
Онлайн
Для кого этот курс?
Аналитики и дата-инженеры, которые работают с данными
- BI-аналитики, Data Analysts, Data Quality Analysts, Data Engineers, Data Quality Engineers, ML-инженеры
- Вы сталкиваетесь с проблемами качества данных и хотите научиться находить и устранять их, автоматизировать контроль качества
Менеджеры данных и специалисты по Data Governance
- Data Stewards, Data Governance Managers, Product Owners в области данных
- Вы отвечаете за процессы управления данными и вам нужно выстроить контроль качества данных на уровне компании. Вы хотите понимать, как внедрить правила, стандарты и процессы
Руководители и специалисты по цифровой трансформации
- Chief Data Officers (CDO), IT-директора, менеджеры цифровых проектов
- Вы хотите повысить зрелость управления данными в компании, снизить риски, связанные с плохим качеством данных, внедрить стандарты Data Governance
Необходимые знания
- Понимание работы с данными – опыт работы с таблицами, SQL, Excel или BI-инструментами
- Базовые знания SQL – умение писать простые запросы (SELECT, JOIN, WHERE)
- Знание Python для аналитики данных
- Общий опыт работы с корпоративными данными – понимание, как хранятся и обрабатываются данные в компаниях
Что даст вам этот курс?
Аналитикам и дата-инженерам:
- Научитесь выявлять проблемы качества данных, использовать метрики и автоматизировать проверки
- Освоите инструменты по обеспечению качества данных и научитесь внедрять их в работу
- Улучшите качество данных для построения более точной аналитики и моделей
Менеджерам данных и DG-специалистам:
- Разберетесь, как Data Quality встроено в Data Governance и как управлять им на уровне процессов
- Освоите Data Lineage, Data Contracts и инцидент-менеджмент
- Разработаете стандарты и правила контроля качества данных в компании
Руководителям и специалистам по цифровой трансформации:
- Сможете понять, как плохое качество данных влияет на бизнес-решения и прибыль
- Разработаете стратегию управления качеством данных на уровне компании
- Внедрите Data Quality как часть корпоративной культуры и процессов
После обучения вы сможете:
- Внедрять процессы Data Quality и Data Governance в компании;
- Автоматизировать контроль качества данных с помощью современных инструментов
- Работать с метаданными, Data Catalog, Data Lineage и управлять бизнес-терминами
- Настраивать и оптимизировать проверки качества данных (DQ Checks)
- Выстраивать взаимодействие между бизнесом, IT и аналитиками для управления данными
Дополнительно на курсе вы:
-
Будете работать над проектами, которые можно адаптировать под свою текущую работу, создавая решения для реальных задач
-
Изучите современные инструменты и актуальные решения и сможете использовать их в реальных проектах
Инструменты, которые вы освоите:
- Soda – инструмент для автоматизации контроля качества данных. Он позволяет настроить проверки качества данных, отслеживать ошибки и генерировать отчёты для принятия решений
- OpenMetadata – платформа для управления метаданными, которая позволяет строить Data Catalog, отслеживать lineage данных и организовывать процессы Data Governance
- Airflow – инструмент для автоматизации рабочих процессов и ETL-пайплайнов. Он помогает создавать, планировать и отслеживать задачи в рамках данных процессов, обеспечивая прозрачность и контроль
- NiFi – платформа для автоматизации потоков данных. NiFi используется для интеграции данных из различных источников, их преобразования и загрузки в нужные системы
Процесс обучения
Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
После выполнения всех домашних заданий вы получите готовый выпускной проект.
Оптимальная нагрузка
Возможность совмещать учебу с работой
Портфолио
Индивидуальная разработка итоговой проектной работы
Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход
Партнеры
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на интервью
- Участвуйте в карьерных мероприятиях: там мы разбираемся, как составить резюме
Формат обучения
Интерактивные вебинары
2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов
Программа
Основы Data Quality: зачем и кому это нужно?
В этом модуле мы разберёмся, что такое Data Quality и почему его важно контролировать. Узнаем, какие проблемы возникают из-за плохого качества данных, какие существуют методологии и как строится процесс управления качеством данных в компании.
Тема 1: Введение в Data Quality
Тема 2: Основные проблемы данных: дубликаты, пропуски, несоответствия, аномалии
Тема 3: Методологии Data Quality: DMBOK, ISO 8000, Data Observability
Тема 4: Data Governance vs. Data Quality – как связаны эти процессы?
Тема 5: Кто отвечает за качество данных: роли, зоны ответственности
Тема 6: QA-сессия + разбор практических заданий
Как оценить качество данных: метрики, профилирование, правила
В этом модуле мы научимся оценивать качество данных, вычислять основные метрики и разрабатывать правила проверки. Разберёмся, как строить отчёты и автоматически выявлять ошибки.
Тема 1: Data Profiling – как анализировать данные и находить ошибки
Тема 2: Метрики качества данных: полнота, точность, согласованность, актуальность
Тема 3: Выявление дубликатов, аномалий и ошибок в данных
Тема 4: Разработка бизнес-правил проверки данных
Тема 5: Как автоматизировать расчёт метрик и отчёты
Тема 6: QA-сессия + разбор практических заданий
Инструменты и автоматизация Data Quality
В этом модуле мы рассмотрим различные инструменты для автоматизации контроля качества данных и как их встроить в архитектуру компании. Познакомимся с OpenMetadata, Soda, dbt tests и другими решениями.
Тема 1: Обзор актуальных для российского рынка инструментов Data Quality
Тема 2: Настройка автоматических проверок качества данных
Тема 3: Как построить мониторинг качества данных: дашборды и алерты
Тема 4: Интеграция DQ-инструментов в существующую архитектуру данных
Тема 5: Примеры настройки автоматизированного контроля данных
Тема 6: QA-сессия + практическое задание
Data Lineage, инциденты и Data Contracts
В этом модуле мы изучим, как ошибки в данных распространяются по системе, как ими управлять и как выстроить процесс Data Quality Incident Management.
Тема 1: Data Lineage – зачем отслеживать путь данных
Тема 2: Как ошибки в данных распространяются по системе
Тема 3: Управление инцидентами: процесс Data Quality Incident Management
Тема 4: Data Contracts – как зафиксировать ожидания к данным
Тема 5: Как объяснять DQ-проблемы бизнесу: Data Storytelling
Тема 6: QA-сессия + анализ реальных кейсов
Проектная работа
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Тема 4: Подведение итогов курса
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
Каждый курс завершается финальным проектом, который предстоит защитить перед преподавателями и командой. Вам будет, что обсудить на собеседовании!
В проектной работе вы получите набор сырых данных из разных источников, содержащий ошибки и несоответствия. Ваша задача – провести анализ качества данных, выявить ключевые проблемы и разработать правила проверки. Далее вам предстоит настроить отчётность по качеству данных, предложить стратегию их улучшения и подготовить презентацию.
Преподаватели
Александр Бергер
Wildberries
Lead Data Quality
Руководитель направления Data Quality с уникальным межотраслевым опытом. Эксперт в области Data Quality и Data Governance, специализирующийся на внедрении open-source решений и выстраивании методологий управления данными в больших компаниях. Руководит направлением Data Quality в Wildberries, ранее развивал DQ и DG в СИБУРе и работал в банковском секторе. Обладает редким сочетанием стратегического видения, аналитической методологии и управленческого опыта. Разрабатывает и внедряет системы контроля качества данных, выстраивает команды и формирует стандарты DQ в сложных корпоративных средах. Убежден, что его продукты по Data Quality не имеют себе равных на рынке как по функционалу, так и по методике донесения их ценности до бизнеса. Выступает с докладами и развивает образовательные программы по Data Quality.
Преподает на курсах
- Data Quality
Татьяна Водовозова
FinTech
Руководитель направления DWH аналитики
Около 10 лет опыта в ИТ аналитике, в том числе в проектах, связанных с построением и развитием хранилищ данных. Участвовала в проектах по созданию унифицированной модели хранилища для консолидации данных и построения вирин под запросы заказчика. Используемые технологии AWS, Snowflake, Oracle. Вела проект по миграции данных из MS SQL и Oracle на Postgres. На текущий момент занимается проектом по трансформации хранилища данных и развития рекрутинговой системы на стеке Microsoft (MS SQL, Power BI). Образование: Самарский Государственный Университет, МехМат Otus Certified Educator
Преподает на курсах
- Data Warehouse Analyst
- Data Quality
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
Что будет на вебинаре:
- Разбор ключевых ролей, вовлечённых в обеспечение качества данных — от Data Steward до Data Engineer и Product Owner;
- Обсуждение зон ответственности каждой роли и примеров взаимодействия в рамках Data Quality-процессов;
- Демонстрация типичных ошибок распределения ролей и их влияния на качество данных;
- Практические кейсы по построению эффективной модели ответственности (RACI) в проектах по управлению данными.
Чему научатся участники:
- Определять ключевых участников процессов обеспечения качества данных;
- Формировать распределение ответственности между членами команды;
- Понимать, как организационная структура влияет на качество данных;
- Применять принципы ролевого взаимодействия для повышения зрелости Data Quality в компании.
Что будет на вебинаре:
- Разберем, как классифицировать метрики качества данных: по техническим измерениям (полнота, валидность и др.) и их связи с бизнес-показателями;
- Обсудим как разрабатывать действенные метрики и KPI, которые закрывают конкретные бизнес-требования и боли компании;
- Рассмотрим пошаговую стратегию внедрения системы мониторинга DQ: от пилотного проекта до полномасштабной интеграции в рабочие процессы;
- Поговорим о инструментах и подходах для постоянного трекинга и контроля качества данных.
Чему научатся участники:
- Классифицировать метрики качества данных и понимать их предназначение в бизнес-контексте;
- Разрабатывать собственные метрики, которые напрямую влияют на принятие решений и снижают риски;
- Планировать поэтапную стратегию внедрения метрик в своей компании, избегая распространенных ошибок;
- Создавать основу для своего собственного каталога метрик DQ — ключевого артефакта для управления качеством данных.
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Подтверждение знаний и навыков
OTUS осуществляет лицензированную образовательную деятельность. В конце обучения вы получите сертификат OTUS о прохождении курса и удостоверение о повышении квалификации.
После обучения вы:
- Получите материалы по пройденным занятиям (видеозаписи курса и дoполнительные материалы)
- Создадите свой проект, который поможет при прохождении собеседований
- Повысите свою ценность и конкурентоспособность как IT-специалист
- Получите сертификат об окончании курса
Data Quality
Полная стоимость
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Оставьте заявку и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно