Проектирование Data Pipelines в Apache Airflow Эта статья посвящена краткому введению в Airflow и шагов по созданию и настройке конвейеров данных (Data Pipelines). Сначала мы установим и сконфигурируем Airflow. Затем рассмотрим практический пример создания и запуска DAG в Airflow. Нашей целью является практическое понимание развертывания Airflow и базовой разработки DAG. Как обрабатывать объекты Avro с помощью датасетов Spark 3.2 & Scala 2.12 Разберем, как обрабатывать объекты JVM, сгенерированные из схем Avro, в датасетах Spark. Вместе…
Топ-5 инструментов для MongoDB в 2022 году Любое приложение, работающее с большими объемами данных, нуждается в такой базе данных, которая…
Запись открытого урока курса «PostgreSQL» https://www.youtube.com/watch?v=TS_3xT26tp4 На занятии мы разобрали: Стандартные методы логического и физического копирования;Современную утилиту pg_probackup;Лучшие практики по бэкапам и восстановлению. Спикер: Евгений Аристов Более 20 лет занимается разработкой ПО на Java/Spring, C#, PHP.Архитектор баз данных PostgreSQL, MongoDB, MSSQL, Oracle, MySQL, MariaDB, Couchbase и др.
На этом занятии мы: поговорили об устройстве PostgreSQL, рассмотрели процессы PostgreSQL и структуру памяти; обсудили, как PostgreSQL работает с данными на физическом уровне.
На открытом уроке нам удалось разобраться в типах индексов, плюсах и минусах; (преимущества и недостатки индексов, виды и возможности индексов). Обсудили, как создавать, удалять и мониторить индексы для оптимизации БД. А также ответили на вопросы: как MySQL хранит индексы, как работают индексы, что такое статистика.
На этом открытом уроке мы: развернули MongoDB различными способами; обсудили возможности и ограничения каждого способа; выбрали наиболее оптимальный способ в зависимости от задачи.
На открытом занятии обсудили: replica set, концепцию кворума, балансировку, выбор ключа шардирования.
На этом занятии мы изучили возможности Flutter для создания кроссплатформенных игр для мобильных устройств, веб и настольных компьютеров, а также создали простую аркадную игру от начала и до подготовки к публикации в магазинах приложений.