День открытых дверей по курсу «Нейронные сети на Python» 14.06.2018 в 20:00 | OTUS

Курсы

Специализации Курсы в разработке Подготовительные курсы
+7 499 110-61-65
Проходил 14 июня 2018 года в 20:00

День открытых дверей
Machine learning

День открытых дверей онлайн

Хотите узнать, почему OTUS – больше, чем просто образовательный портал?
Как OTUS дает возможность стать частью сообщества профессионалов и сделать новый шаг по карьерной лестнице?
Почему учиться – не обязанность, а удовольствие и почему тесное сплетение теории и практики в обучении дает эффект синергии?
Приходите к нам на День Открытых Дверей. Формат проведения – онлайн – подключиться можно из любой точки мира!
Преподаватель
Артур Кадурин

Запись

О курсе

Нейронные сети на Python
50 000 ₽ 40 000 ₽
5 месяцев
Начало 29 апреля

  • В первых двух модулях курса мы разбираем всю необходимую теорию для дальнейшего погружения в глубокое обучение, изучаем основные фреймворки (PyTorch, Keras, Tensorflow) для разработки нейронных сетей и решаем классические задачи компьютерного зрения, обработки естественных языков и обучения с подкреплением.
  • Третий модуль посвящен современным подходам к решению классических задач компьютерного зрения и обработки естественных языков. Мы …
Программа курса
Модуль 1
Первые шаги
Модуль 2
Основные архитектуры и методы обучения нейронных сетей
Модуль 3
Современные нейронные сети для задач компьютерного зрения и обработки естественных языков
Модуль 4
Нейронные сети для слабоформализуемых задач
Модуль 5
Проектная работа
Первые шаги
В этом модуле мы познакомимся:
i. с основными задачами которые можно решить с помощью нейронных сетей
ii. фреймворками, позволяющими реализовывать различные нейросетевые архитектуры в соответствии с задачей
iii. и методами, лежащими в основе обучения искусственных нейронных сетей.
Искусственный интеллект и другие задачи которые можно решать с помощью нейронных сетей
участники узнают что такое искусственные нейроны для того, чтобы понимать из чего состоят искусственные нейронные сети, познакомятся с историей развития искусственного интеллекта и актуальными задачами, которые стоят перед учеными в области Data Science
29 апреля, 20:00 — 21:30
Домашние задания: 1
ДЗ
Введение в PyTorch. 1. Используя скрипт salt.py посчитать хэш от своего имени. Суть задания подтвердить запуск докера.
2. Сделать свой transform, переводящий данные в распределение N(0, 1) и выложить код в Slack. Проверить код 3х коллег и отписаться в ветку к выложенному коду.
Стохастический градиентный спуск и метод обратного распространения
на занятии мы разберем математическую основу обучения нейронной сети и базовые идеи работы с данными
2 мая, 10:00 — 11:30
Первая нейронная сеть на PyTorch
участники познакомятся с фреймворком PyTorch и научатся реализовывать простейшие нейронные сети
6 мая, 20:00 — 21:30
Домашние задания: 1
ДЗ
Логистическая регрессия и переобучение. 1. В файле log_reg.ipynb изменить код таким образом, чтобы решить ту же самую задачу, а именно обучить логистическую регрессию, на двумерных данных
2. Добиться от классифкатора на minst переобучения за счет изменения архитектуры и гиперпараметров.
Переобучение и регуляризация нейронных сетей
участники узнают что такое переобучение нейронной сети, и как с ним бороться для повышения эффективности своих моделей
9 мая, 10:00 — 11:30
Первая нейронная сеть на Tensorflow
участники научатся реализовывать нейронные сети с помощью одного из самых популярных фреймворков
13 мая, 20:00 — 21:30
Домашние задания: 1
ДЗ
Основы tenosrlow и tenosrboard. Скачайте архив homework-rf2.zip

Внутри находятся файлы utils.py и homework-tf2.ipynb.

Инструкции - внутри ноутбука.

Проще всего запустить ноутбук внутри контейнера, который использовался на занятии, но можно установить все пакеты и без него.
Взрыв и затухание градиентов
участники узнают в чем заключаются проблемы взрыва и затухания градиентов и познакомятся с методами борьбы позволяющими обучать более глубокие нейронные сети
16 мая, 10:00 — 11:30
Погружение в Tensorflow
на занятии мы разберем продвинутые возможности фреймворка Tensorflow
20 мая, 20:00 — 21:30
Адаптивные методы градиентного спуска
участники научатся применять современные модификации метода градиентного спуска для ускорения обучения нейронных сетей
23 мая, 10:00 — 11:30
Основные архитектуры и методы обучения нейронных сетей
В этом модуле мы узнаем:
i. Какие нейросетевые архитектуры существуют
ii. Какие методы позволяют обучать глубокие нейронные сети.
ii. Как применять нейросети в задачах компьютерного зрения, обработки естественных языков и обучения с подкреплением.
Основные архитектуры нейронных сетей: Автокодировщики
разбор базовых архитектур мы начнем с универсального фреймворка кодировщик-декодировщик и базовой архитектуры в этом фреймворке — автокодировщик. Участники узнают как создавать автокодировщики и смогут модифицировать основную структуру под конкретную задачу.
27 мая, 20:00 — 21:30
Домашние задания: 1
ДЗ
Автокодировщик. 0. Обучить многослойный автокодировщик:
а. отрисовать классы в латентном представлении автокодировщика с двумерным латентным слоем
б. сделать tSNE над 32-мерным латентным слоем

1. Обучить шумный автокодировщик:
а. Добавить ко входным данным нормальный шум
б. Сделать отражение части изображения
в. Отрисовать карты активаций нейронов первого слоя
Практическое занятие на TensorFlow. Разреженный Автокодировщик
на занятии участники решат задачи удаления шума с изображения и разреживания представления данных.
30 мая, 10:00 — 11:30
Основные архитектуры нейронных сетей: Сверточные сети
на этом занятии мы научимся использовать наиболее популярную архитектуру нейронной сети для решения задач компьютерного зрения, а также операцию обратную свертке для реализации сверточных автокодировщиков.
3 июня, 20:00 — 21:30
Домашние задания: 1
ДЗ
Сверточные сети. Необязательное домашнее задание
1. Реализовать сверточный автокодировщик
2. Сделать оптимизацию изображения под активацию сверточных нейронов классификатора
3. Сделать оптимизацию изображения под активацию сверточных нейронов автокодировщика
Практическое занятие на Keras. Transfer Learning.
Участники познакомятся на практике с одним из ключевых методов решения задач компьютерного зрения.
6 июня, 10:00 — 11:30
Основные архитектуры нейронных сетей: Рекуррентные сети
на примере задачи классификации коротких текстов, участники познакомятся еще с одной важнейшей архитектурой — рекуррентной нейронной сетью. Помимо обработки естественных языков мы рассмотрим общий подход к работе с последовательными данными с помощью рекуррентной сети.
10 июня, 20:00 — 21:30
Домашние задания: 1
ДЗ
Создаем Википедию. 1. Используя подход аналогичный torchvision, сделать свой класс датасета.
Необязательное д/з:
1. Поэкспериментировать с разными архитектурами рекурренток: тип ячеек, слои, нормализация, методы оптимизации
Практическое занятие на PyTorch. Генерация Википедии.
на этом занятии мы перейдем от предсказания свойств текста к порождению собственных текстов.
13 июня, 10:00 — 11:30
Домашние задания: 1
ДЗ
Создаем Википедию. 1. Используя подход аналогичный torchvision, сделать свой класс датасета.
Необязательное д/з:
1. Поэкспериментировать с разными архитектурами рекурренток: тип ячеек, слои, нормализация, методы оптимизации
Введение в обучение с подкреплением
участники научатся применять методы классического обучения с подкреплением для таких задач как A/B тестирование или игра в шахматы. Мы разберемся с тем кто такие многорукие бандиты и что такое TD-обучение.
17 июня, 20:00 — 21:30
Практическое занятие. Крестики-нолики.
на примере игры в крестики-нолики участники сравнят решение с помощью нейронной сети с “табличными” методами обучения с подкреплением.
20 июня, 10:00 — 11:30
Домашние задания: 1
ДЗ
Deep-Tac-Toe.
Современные нейронные сети для задач компьютерного зрения и обработки естественных языков
В этом модуле мы разберем:
i. Современные архитектуры сверточных и рекуррентных нейронных сетей.
ii. Задачи сегментации и детекции объектов на изображении
iii. Как устроено внимание и почему нейронные сети могут что-то забыть.

Современные сверточные сети. Блоки и шорткаты.
на этом занятии участники познакомятся с историей развития современных сверточных сетей, узнают что позволило сделать их по-настоящему глубокими и как это повлияло на область компьютерного зрения.
Архитектуры: AlexNet, GoogLeNet, Inception, ResNet.
24 июня, 20:00 — 21:30
Современные рекуррентные сети. Внимание.
тема посвящена тому, как “научить” нейросеть обращать внимание на наиболее важную информацию на изображении или в тексте. Мы узнаем, как использовать эту способность, чтобы искать логически связанные блоки информации, чем это поможет при машинном переводе, поиске ответов на вопросы, аннотации изображений.
Архитектуры: Attention, Seq2Seq, PointerNetworks
27 июня, 10:00 — 11:30
Metric-learning и обучение без примеров
мы научимся отображать объекты в пространство с метрикой и использовать такое представление для поиска похожих объектов и решения задачи классификации при отсутствии данных.
Архитектуры: DSSM
1 июля, 20:00 — 21:30
Современные рекуррентные сети. Трансформеры.
мы разберемся, как можно использовать только attention-слои для Natural Language Inference, а также разберемся, как трнсформер позволяет создать эмбеддинги, учитывающими контекст при кодировании многозначных слов.
Архитектуры: Attention is all you need(transformer), ELMo, BERT
4 июля, 10:00 — 11:30
Современные сверточные сети. Transfer learning и fine-tuning
участники узнают что делать если данных недостаточно для обучения глубокой нейронной сети, как использовать знания из уже обученной нейронной сети и подстраивать такую сеть к конкретной задаче.
8 июля, 20:00 — 21:30
Домашние задания: 1
ДЗ
Transfer Learning vs Fine Tuning.
Катастрофическое забывание.
архитектуры: https://arxiv.org/pdf/1612.00796.pdf
11 июля, 10:00 — 11:30
Глубокие сверточные сети. Сегментация
на занятии мы разберемся, как при помощи нейронной сети сегментировать изображение, какие для этого есть архитектуры, что за принципы лежат в основе UNet и DeepLab.
Архитектуры: UNet, DeepLab
15 июля, 20:00 — 21:30
Глубокие сверточные сети. Детекция.
мы разберем принципы работы нейронных сетей для детекции объектов: от эволюцию от первых “чисто” нейросетевых алгоритмов до современных архитектур, работающих за “один взгляд” - YOLO, SSD
Архитектуры: R-CNN, Faster-RCNN, YOLO, Single Shot Detector
18 июля, 10:00 — 11:30
Нейронные сети для слабоформализуемых задач
В этом модуле мы научимся:
i. Решать задачи с необычной структурой данных или отсутствием данных.
ii. Создавать новые объекты и определять их “реалистичность”
iii. Имитировать поведение людей и разбираться в их скрытых мотивах
Генеративные состязательные сети
на занятии мы разберем, как нейронная сеть учится обманывать другую нейронную сеть, и как от этого они обе становятся лучше, а мы получаем генератор качественных данных
Архитектуры: GAN (Images)
22 июля, 20:00 — 21:30
Домашние задания: 1
ДЗ
GANs. 1. Сделать условный GANs — класс подается на вход Генератору и Дискриминатору
2. Сделать Adversarial Autoencoder — автокодировщик с лоссом от Дискриминатора вместо dKL
Вариационный и состязательный автокодировщики
25 июля, 10:00 — 11:30
Домашние задания: 1
ДЗ
Вариационный автокодировщик. Реализовать VAE в pytorch для MNIST датасета. Визуализировать полученный результат.
Доменная адаптация и условная генерация
мы разберем подходы к обучению нейронных сетей на многомодальных данных, способы целенаправленного забывания информации и применение состязательного фреймворка для “честной” условной генерации.
Архитектуры: Conditional GAN
29 июля, 20:00 — 21:30
Домашние задания: 1
ДЗ
Условная генерация. Обучить две версии CAAE — "частную" и "нечестную", преобразовать с их помощью исходные данные в латентное представление и обучить 3 классификатора — один на исходных данных и два на кодах, полученных из "честного" и "нечестного" CAAE. Сравнить качество классификации.
Необязательная часть:
Сделать перенос стиля с одной цифры на другие с помощью "честного" CAAE
Генеративные модели для текстов
на этом занятии мы познакомимся с методом Professor forcing, научимся использовать идеи обучения с подкреплением для генерации текстов, а также, узнаем как пропускать градиент через дискретные объекты с помощью репараметризации
Архитектуры: Professor forcing, ORGAN, Gumbel trick
1 августа, 10:00 — 11:30
Обратное обучение с подкреплением
на этом занятии мы разберем как имитировать поведение эксперта, что делать если награды неизвестны и можно ли назначать награды нейронной сетью.
5 августа, 20:00 — 21:30
Глубокое обучение с подкреплением
участники узнают как же Google удалось победить чемпиона мира в игру го и что еще можно сделать таким же способом.
Архитектуры: AlphaGo
8 августа, 10:00 — 11:30
Сверточные и рекуррентные сети на графах
мы разберем архитектуры позволяющие работать с данными имеющими графовую структуру.
Архитектуры: MPNN, GCN, DNC
12 августа, 20:00 — 21:30
Сферические свертки и множества точек
участники узнают как применять непрерывные свертки для данных имеющих пространственную структуру.
Архитектура: SchNet, PointNet
15 августа, 10:00 — 11:30
Проектная работа
В рамках курса предусмотрена защита проекта. Он представляет собой генеративную модель для порождения текста заданного стиля или изображений заданной тематики.


Работа над проектом проходит поэтапно:
1. Выбор тематики.
2. Сбор и подготовка соответствующих данных.
3. Построение и обучение генеративной модели


Проект выполняется программистом в течение двух недель после прохождения курса. Готовое решение должно включать в себя код модели и ее обучения на Python, описание архитектуры модели, отчет об обучении модели и примеры генерации.
консультация по проектной работе
обзор выпускной работы. Постановка задачи. Предоставление необходимых для выполнения выпускной работы материалов
19 августа, 20:00 — 21:30
Домашние задания: 1
ДЗ
Выпускная работа.
консультация по проектной работе
22 августа, 10:00 — 11:30
защита проектной работы
26 августа, 20:00 — 21:30

Преподаватель

Артур Кадурин
CEO Insilico Taiwan и Chief AI Officer Insilico Medicine

В Mail.ru был первым сотрудником в группе по анализу данных департамента рекламных технологий. После того, как группа выросла в отдел, возглавил группу сегментирования аудитории. Руководил и участвовал в проектах, связанных с анализом пользовательского поведения в рекламе, соцсетях, играх и т. д.

С 2016 года применял методы глубокого обучения для научных исследований в области медицинской химии совместно с командой Insilico Medicine, где после успешного проекта занял должность директора по AI. В конце 2017 г. возгавил дочернюю компанию Insilico Taiwan в качестве исполнительного директора.

В 2008 году получил специальность математика и системного программиста в Кубанском Государственном Университете на Факультете Компьютерных Наук и Прикладной Математики, с 2013 года занимается машинным обучением.

Соавтор книги про глубокое машинное обучение: https://www.piter.com/product/glubokoe-obuchenie

Научные публикации:

  • The cornucopia of meaningful leads: Applying deep adversarial autoencoders for new molecule development in oncology. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5355231/

  • druGAN: An Advanced Generative Adversarial Autoencoder Model for de Novo Generation of New Molecules with Desired Molecular Properties in Silico. https://www.ncbi.nlm.nih.gov/pubmed/28703000

  • 3D Molecular Representations Based on the Wave Transform for Convolutional Neural Networks. https://www.ncbi.nlm.nih.gov/pubmed/29473756


  • Преподаватель курсов:
    Нейронные сети на Python

    F.A.Q.: Наиболее часто задаваемые вопросы:

    Нужно ли оплачивать обучение до Дня открытых дверей, если я хочу гарантированно попасть в группу?
    Да, мы рекомендуем заранее оплатить обучение, чтобы гарантированно попасть в группу. В период проведения Дня открытых дверей резко возрастает количество желающих обучаться, поэтому может случиться так, что к окончанию Дня открытых дверей мест в группе не останется
    Кто будет проводить День открытых дверей?
    Проводить День открытых дверей будет преподаватель курса.
    Как принять участие в Дне открытых дверей?
    Для того, чтобы принять участие в Дне открытых дверей, оставьте свой e-mail в поле регистрации на мероприятие. Перед началом Дня открытых дверей мы пришлем вам ссылку, пройдя по которой, вы сможете присоединиться к вебинару.
    Какие вопросы будем обсуждать на Дне открытых дверей?
    На дне открытых дверей мы поговорим о проекте OTUS (о программе курса, почему мы не принимаем в группы новичков, почему учиться у нас интересно, но сложно), карьерных перспективах выпускников (почему вероятность карьерного роста у лучших студентов стремится к 100%), учебном процессе (оплатах, оценке знаний, сертификатах и прочих аспектах). Также ведущий мероприятия с радостью ответит на все ваши вопросы.