На бесплатном двухдневном интенсиве обсудили: Extract-Load через SaaS решения. Возможности готовых сервисов, их надежность и ограничения; Extract-Load через API-вызовы, обращения к СУБД и CDC – оптимальные способы реализации; Автоматизация выгрузки, повторные попытки (retries), получение уведомлений в Slack (notifications) с помощью Airflow; Накопление истории выгрузок и организация Data Lake в S3 перед DWH.
На открытом уроке мы подробно разобрали, что такое платформы Оркестрации, какие решения есть сегодня на рынке и углубились в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
На открытом уроке обсудили темы: поиск дубликатов в CV; постановка задачи поиска дубликатов; выбор метода векторизации в CV; анализ сущестующих методов поиска ближайших соседей: brute force, HNSW; оценка качества дедубликации и детали практической реализации.
На открытом уроке обсудили постановку задачи, нахождение аномалий в разных распределениях, SVD-feature extraction, Autoencoder, PaDiM.
Написать большое количество ML пайплайнов и скриптов — это еще полдела. Как это менеджерить? Как запускать с максимальным удобством? AifFlow легко решает эту проблему.
Разработать одну ML модель и провести ее валидацию уже давно не проблема. Но как экспериментировать сразу с сотнями моделей и с разными параметрами и при этом не захлебнуться в разнообразии экспериментов? Как не потерять этот опыт и легко воспроизводить эксперименты годовой давности?
