Курсы по нейросетям со скидкой до 30%
Курсы по нейросетям со скидкой до 30%
Выбрать курс
Аналитика и анализ
Data Quality

Data Quality

Стратегии управления данными и практика интеграции реальных инструментов. Освойте лучшие практики Data Quality и Data Governance на курсе от опытных экспертов

29 апреля

4 месяца

Онлайн

Пн/Ср 20:00 Мск

Для кого этот курс?

Аналитики и дата-инженеры, которые работают с данными

 
  • BI-аналитики, Data Analysts, Data Quality Analysts, Data Engineers, Data Quality Engineers, ML-инженеры
  • Вы сталкиваетесь с проблемами качества данных и хотите научиться находить и устранять их, автоматизировать контроль качества

Менеджеры данных и специалисты по Data Governance

 
  • Data Stewards, Data Governance Managers, Product Owners в области данных
  • Вы отвечаете за процессы управления данными и вам нужно выстроить контроль качества данных на уровне компании. Вы хотите понимать, как внедрить правила, стандарты и процессы

Руководители и специалисты по цифровой трансформации

 
  • Chief Data Officers (CDO), IT-директора, менеджеры цифровых проектов
  • Вы хотите повысить зрелость управления данными в компании, снизить риски, связанные с плохим качеством данных, внедрить стандарты Data Governance

Необходимые знания

  • Понимание работы с данными – опыт работы с таблицами, SQL, Excel или BI-инструментами
  • Базовые знания SQL – умение писать простые запросы (SELECT, JOIN, WHERE)
  • Знание Python для аналитики данных
  • Общий опыт работы с корпоративными данными – понимание, как хранятся и обрабатываются данные в компаниях

Что даст вам этот курс?

Аналитикам и дата-инженерам:

 
  • Научитесь выявлять проблемы качества данных, использовать метрики и автоматизировать проверки
  • Освоите инструменты по обеспечению качества данных и научитесь внедрять их в работу
  • Улучшите качество данных для построения более точной аналитики и моделей

Менеджерам данных и DG-специалистам:

 
  • Разберетесь, как Data Quality встроено в Data Governance и как управлять им на уровне процессов
  • Освоите Data Contracts и инцидент-менеджмент
  • Разработаете стандарты и правила контроля качества данных в компании

Руководителям и специалистам по цифровой трансформации:

 
  • Сможете понять, как плохое качество данных влияет на бизнес-решения и прибыль
  • Разработаете стратегию управления качеством данных на уровне компании
  • Внедрите Data Quality как часть корпоративной культуры и процессов

 

После обучения вы сможете:

  • Внедрять процессы Data Quality и Data Governance в компании;
  • Автоматизировать контроль качества данных с помощью современных инструментов
  • Работать с метаданными, Data Catalog и управлять бизнес-терминами
  • Настраивать и оптимизировать проверки качества данных (DQ Checks)
  • Выстраивать взаимодействие между бизнесом, IT и аналитиками для управления данными

Дополнительно на курсе вы:

  • Будете работать над проектами, которые можно адаптировать под свою текущую работу, создавая решения для реальных задач
  • Изучите современные инструменты и актуальные решения и сможете использовать их в реальных проектах

Инструменты, которые вы освоите:

  • Soda – инструмент для автоматизации контроля качества данных. Он позволяет настроить проверки качества данных, отслеживать ошибки и генерировать отчёты для принятия решений
  • OpenMetadata – платформа для управления метаданными, которая позволяет строить Data Catalog, отслеживать lineage данных и организовывать процессы Data Governance
  • Airflow – инструмент для автоматизации рабочих процессов и ETL-пайплайнов. Он помогает создавать, планировать и отслеживать задачи в рамках данных процессов, обеспечивая прозрачность и контроль
Data Quality (DQ) — это подход к обеспечению точности, полноты и актуальности данных в организации. Он включает в себя автоматизированные проверки, мониторинг качества и управление ошибками данных.
 
Data Governance (DG) — это система стратегий, процессов и инструментов для управления данными, включая их классификацию, контроль доступа, управление метаданными и соответствие регуляторным требованиям. DG обеспечивает прозрачность и единые правила работы с данными в компании.

Процесс обучения

Обучение проходит онлайн: вебинары, общение с преподавателями и вашей группой в Telegram, сдача домашних работ и получение обратной связи от преподавателя.

Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.

В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.

После выполнения всех домашних заданий вы получите готовый выпускной проект.

Оптимальная нагрузка

Возможность совмещать учебу с работой

Портфолио

Индивидуальная разработка итоговой проектной работы 

Перспективы

 

Получите знания, которые помогут повысить вашу востребованность и доход

Партнеры

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.

  • Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на интервью
  • Участвуйте в карьерных мероприятиях: там мы разбираемся, как составить резюме
Формат обучения

Интерактивные вебинары


2 занятия по 2 ак.часа в неделю. Доступ к записям и материалам остается навсегда

Обратная связь


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Чат в Telegram для общения преподавателей и студентов

Программа

Data Quality: Бизнес-контекст, основы и ценность

В этом модуле вы разберёте, что такое Data Quality и почему его важно контролировать. Узнаете, какие проблемы возникают из-за плохого качества данных, какие существуют методологии, как строится процесс управления качеством данных в компании и как обосновать его ценность для бизнеса.

Тема 1: Введение в Data Quality

Тема 2: Основные проблемы данных: дубликаты, пропуски, несоответствия, аномалии

Тема 3: Как обосновать ценность Data Quality: расчёт ROI и аргументы для руководства // ДЗ

Тема 4: Методологии Data Quality: DMBOK, ISO 8000, Data Observability

Тема 5: Data Governance vs. Data Quality – как связаны эти процессы

Тема 6: Стандартизация данных: создание глоссария, оценка метрик и интеграция в процессы // ДЗ

Тема 7: Кто отвечает за качество данных: роли, зоны ответственности-1

Тема 8: Разбор реальных инцидентов качества данных // ДЗ

Оценка Data Quality: Метрики, профилирование и автоматизация

В этом модуле вы научитесь оценивать качество данных, вычислять основные метрики и разрабатывать правила проверки. Разберёте, как строить отчёты и дашборды.

Тема 1: Метрики качества данных и стратегия внедрения

Тема 2: Разработка бизнес-правил проверки данных // ДЗ

Тема 3: Data Profiling: как анализировать данные и находить ошибки

Тема 4: Разбор практического кейса // ДЗ

Инструменты: Интеграция, автоматизация и ML-валидация

В этом модуле вы рассмотрите различные инструменты для автоматизации контроля качества данных, изучите, как встроить их в архитектуру компании, в процессы ML и инженерных команд. Познакомитесь с OpenMetadata, Soda, dbt tests и другими решениями для контроля и управления данными, а также сравните эти решения.

Тема 1: Инструменты DQ для РФ: сравнительный анализ и выбор

Тема 2: Интеграция DQ-инструментов в существующую архитектуру данных // ДЗ

Тема 3: Настройка проверок качества данных

Тема 4: Как построить мониторинг качества данных: дашборды и алерты // ДЗ

Тема 5: Data Quality в ML: валидация данных и борьба с дрифтом

Тема 6: Разбор практического кейса // ДЗ

Управление DQ: Инциденты, регуляторика и Data Products

В этом модуле вы научитесь управлять инцидентами, выполнять регуляторные требования, проектировать Data Products (контракты, Data Mesh) и коммуницировать проблемы DQ бизнесу.

Тема 1: Управление инцидентами: процесс Data Quality Incident Management

Тема 2: Операционные метрики DQ: как принимать решения на основе данных // ДЗ

Тема 3: Регуляторные требования: GDPR, 152-ФЗ и предотвращение штрафов

Тема 4: Data Contracts и Data Mesh: распределённая ответственность за качество // ДЗ

Тема 5: Data Storytelling: как визуализировать и презентовать DQ-проблемы бизнесу

Тема 6: Повышение data literacy в компании: стратегии и практики

Тема 7: Q&A-сессия + анализ реальных кейсов

Проектная работа

Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проектная работа

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Выпускной проект

 

Каждый курс завершается финальным проектом, который предстоит защитить перед преподавателями-экспертами.

 

В проектной работе вы получите набор сырых данных из разных источников, содержащий ошибки и несоответствия. Ваша задача – провести анализ качества данных, выявить ключевые проблемы и разработать правила проверки. Далее вам предстоит настроить отчётность по качеству данных, предложить стратегию их улучшения и подготовить презентацию.

Преподаватели

Руководитель курса

Александр Бергер

Lead Data Quality

Wildberries

Татьяна Водовозова

Руководитель направления DWH аналитики

FinTech

Павел Ташкинов

Дата-стюард

MARS

Наиля Галимова

Lead в Data Governance

Билайн

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме онлайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Введение в качество данных (data quality). Все данные плохие: как обнаружить ошибки до того, как они убьют ваш бизнес
Александр Бергер
На открытом уроке рассмотрим:
- Что такое Data Quality и почему это важно: Разберем определение качества данных, на реальных примерах увидим, к каким финансовым и репутационным потерям приводят плохие данные (сломанные маркетинговые акции, ошибки кредитного скоринга, неверные управленческие решения);
- 6 ключевых метрик качества данных: Познакомимся с международным стандартом измерений DQ (полнота, уникальность, точность, актуальность, валидность, согласованность) и научимся с их помощью выявлять конкретные ошибки в данных;
- Обзор инструментов контроля качества: Посмотрим, какие современные решения (Soda, Great Expectations, dbt tests, OpenMetadata) помогают автоматизировать проверку данных и встраивать контроль качества в процессы компании;
- Экспресс-аудит данных на практике: Проведем мини-расследование: получим реальную выгрузку из CRM, применим изученные метрики и найдем скрытые проблемы, которые влияют на бизнес-показатели.

После занятия вы будете знать:
- 3 главные причины, по которым данные в вашей компании могут быть некачественными, и кто за это отвечает;
- 6 критических метрик качества данных, чтобы профессионально анализировать любые дата-сеты и обосновывать свою позицию перед коллегами и руководством;
- Какие инструменты существуют для автоматизации контроля качества данных и в каких случаях их применяют;
- Конкретный алгоритм первой проверки любого нового набора данных, который позволит вам сразу выявлять критичные ошибки и предотвращать убытки....
1 апреля в 17:00
Открытый вебинар
Архитектура доверия: качество данных
Наиля Галимова
Что будет на вебинаре:
- Обсудим, заканчивается ли качество данных на внедрении инструментов и настройке проверок;
- Разберём, роль и ценность управления инцидентами качества данных;
- Рассмотрим дата-контракты как инструмент формализации ожиданий и выстраивания доверия между командами;
- Поговорим о том, зачем развивать data literacy и как формировать зрелую культуру работы с данными.

Чему научатся участники:
- Видеть качество данных как управляемую систему, а не набор отдельных проверок и инструментов;
- Выстраивать системный подход к управлению инцидентами качества данных;
- Понимать, что такое дата-контракты, и как использовать их для межкомандного взаимодействия;
- Формировать культуру работы с данными, при которой качество становится нормой, а не разовой инициативой....
13 апреля в 17:00
Открытый вебинар
Качество данных (data quality) на практике: от технических метрик до внедрения в команде
Руслан Усачёв
На открытом уроке рассмотрим:
- Как «инструментально» измерить качество: разберем технические метрики DQ (полнота, уникальность, валидность и т. д.) на реальных примерах и покажем, как выполнять их профайлинг с помощью современных инструментов качества данных;
- Связка мониторинга и бизнеса: как настроить дашборды в Grafana для отслеживания качества данных и не просто собирать цифры, а привязать их к бизнес-процессам;
- Роли и зоны ответственности в DQ: кто именно (Data Engineer, Data Steward) и за какие проверки отвечает. Разберем матрицу RACI именно для процесса внедрения DQ-правил;
- Пошаговая стратегия для инженера: с чего начать внедрение DQ в компании (пилотный проект), как не перегрузить команду и какие инструменты (OpenMetadata, Soda, Grafana и аналоги) использовать на каждом этапе.

После занятия вы будете знать:
- Как классифицировать и разрабатывать технические метрики качества данных, которые можно сразу завернуть в код и проверки;
- Какие существуют подходы к автоматическому профайлингу данных и как интерпретировать его результаты для быстрой оценки качества;
- Как эффективно распределить ответственность за DQ между участниками команды, чтобы нагрузка была сбалансированной, а не ложилась на одну группу специалистов;
- С чего начать пилотный проект по мониторингу качества данных, чтобы быстро показать результат и избежать типовых ошибок внедрения....
20 апреля в 17:00
Открытый вебинар

Прошедшие
мероприятия

Александр Бергер
Открытый вебинар
Метрики качества данных и стратегия внедрения
Татьяна Водовозова
Открытый вебинар
Качество данных: роли и ответственность в команде

Этот курс может оплатить ваш работодатель

Обучайтесь за счёт работодателя или разделите оплату 50/50
  • Подробно расскажем об интересующем вас курсе
  • Объясним, как договориться с работодателем
  • Сообщим стоимость обучения и варианты оплаты
  • Ответим на вопросы
  • Предоставим шаблон договора и счёт на оплату

Подтверждение знаний и навыков

OTUS осуществляет лицензированную образовательную деятельность. В конце обучения вы получите сертификат OTUS о прохождении курса и удостоверение о повышении квалификации.

После обучения вы:

  • Получите материалы по пройденным занятиям (видеозаписи курса и дoполнительные материалы)
  • Создадите свой проект, который поможет при прохождении собеседований
  • Повысите свою ценность и конкурентоспособность как IT-специалист
  • Получите сертификат об окончании курса

Частые вопросы

Почему OTUS?
Мы обучаем IT-сотрудников уже 6 лет, через OTUS прошли 20 000 студентов. Специализируемся на программах для людей с опытом, а ещё – быстро переформатируем учебные программы под изменения в сфере информационных технологий.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Смогу ли я совмещать учебу с работой?
Да. Программа курса рассчитана на студентов, у которых мало времени. Лекции проводим дважды в неделю, домашние задания — не чаще 1 раза в неделю.
Что, если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время курса, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам исчерпывающую информацию.