Проходил 5 июня в 20:00

Открытый вебинар Machine learning
Нейронные сети для задач фармацевтики

Открытый вебинар онлайн

Всех заинтересованных и причастных к миру классического машинного обучения и нейронных сетей приглашаем на интересную встречу, в которой будет разобрана тема глубокого обучения нейронных сетей для решения конкретного кейса для задач одной из интереснейших отраслей - разработке новых лекарств.
Обсудим актуальные задачи и их реализацию на языке Python.
Преподаватель
Артур Кадурин

Запись

О курсе

Machine Learning
40 000 ₽
Начало в октябре
Программа курса создана специально для тех, кто уже знаком с классическим машинным обучением и хочет погрузиться в мир нейронных сетей и глубокого обучения, получив навыки уровня Middle/Senior. Знания также пригодятся начинающим специалистам в нейронных сетях, которые намерены быстро и систематизировано выйти на высокие позиции в крупных IT-компаниях. В течение обучения вы сможете выбрать готовую или спроектировать собственную архитектуру нейронной сети, ...
Программа курса
Модуль 1
Введение в нейронные сети и глубокое обучение
Модуль 2
Основные архитектуры и методы обучения нейронных сетей.
Модуль 3
Современные архитектуры нейронных сетей
Модуль 4
Состязательные нейронные сети
Модуль 5
Проект
Введение в нейронные сети и глубокое обучение
В первом модуле участники познакомятся с нейронными сетями и задачами которые можно решить с их помощью, а так же воспользуются фреймворком pyTorch для создания первой нейронной модели.
Искусственный интеллект и другие задачи которые можно решать с помощью нейронных сетей
Участники узнают что такое искусственные нейроны для того, чтобы понимать из чего состоят искусственные нейронные сети
Смогут определять какие задачи можно решить с помощью нейронных сетей для того, чтобы формализовать абстрактные задачи от заказчика
Научатся пользоваться и искать необходимые функции в библиотеке pyTorch для того чтобы иметь возможность реализовывать нейронные сети.
Домашние задания: 1
ДЗ
Введение в PyTorch. 1. Используя скрипт salt.py посчитать хэш от своего имени. Суть задания подтвердить запуск докера.
2. Сделать свой transform, переводящий данные в распределение N(0, 1) и выложить код в Slack. Проверить код 3х коллег и отписаться в ветку к выложенному коду.
Теоретические основы обучения нейронных сетей
Участники вспомнят(узнают) необходимую теорию для того чтобы успешно пройти данный курс
Узнают как реализовать свою первую модель машинного обучения для того чтобы уметь решать задачу классификации
Домашние задания: 1
ДЗ
Логистическая регрессия на pyTorch. В файле log_reg.ipynb изменить код таким образом, чтобы решить ту же самую задачу, а именно обучить логистическую регрессию, на двумерных данных
Погружение в pyTorch
Участники узнают о том как происходит обучение нейронных сетей в pyTorch для того чтобы реализовывать глубокие нейронные сети
Познакомятся с фреймворком pyTorch для того чтобы искать необходимые классы и методы
Переобучение и регуляризация нейронных сетей
Участники узнают что такое переобучение и как с ним бороться для повышения эффективности своих моделей
Домашние задания: 1
ДЗ
Переобучение 1. Добиться от классифкатора fashionminst переобучения за счет изменения архитектуры и гиперпараметров.
Взрыв и затухание градиентов
Участники научатся бороться с проблемой взрыва/затухания градиентов для того чтобы обучать глубокие нейронные сети
Основные архитектуры и методы обучения нейронных сетей.
Участники поработают с базовыми архитектурами нейронных сетей, и научатся решать типичные задачи анализа данных.
Основные архитектуры нейронных сетей: Автокодировщики
Участники узнают какие задачи можно решать с помощью автокодировщиков и смогут их создавать для решения этих задач
Домашние задания: 1
ДЗ
Автокодировщик. 1. Обновить формулу KL-дивиргенции в соответствии со слайдами
2. Заменить sigmoid+KL на tanh+L1 и проверить работает ли такой подход
3. Используя дополнительный оптимайзер, подобрать на обученной сети картинку, на которой энкодер выдаст желаемый вектор латентного слоя и сравнить с тем что выдает декодер.
Необязательное д/з на поэкспериментировать:
1. Обучить шумный автокодировщик:
а. Добавить ко входным данным нормальный шум
б. Обнулить % случайных пикселей картинки (30-50% должно работать хорошо)
в. Обнулить левую/правую половину картинки
2. Используя подход из задания 3 на обученном классификаторе, подобрать входные данные на которых классификатор уверенно выдает один из классов.
Основные архитектуры нейронных сетей: Сверточные сети
Участники смогут создавать сверточные нейронные сети для решения задач компьютерного зрения
Применять операцию обратную свертке для реализации сверточных автокодировщиков
18 июля, 20:00 — 21:30
Домашние задания: 1
ДЗ
Сверточный классификатор. 1. Реализовать многослойный сверточный классификатор рукописных цифр
2. Оптимизировать гиперпараметры модели
Основные архитектуры нейронных сетей: Рекуррентные сети
Участники смогут создавать рекуррентные сети для решения задач обработки последовательностей и естественных языков
21 июля, 10:00 — 11:30
Домашние задания: 1
ДЗ
Создаем Википедию. Дополнить код модели посимвольной генерации
Адаптивные методы градиентного спуска
Участники научатся применять продвинутые методы градиентного спуска для ускорения обучения нейронных сетей
25 июля, 20:00 — 21:30
Домашние задания: 1
ДЗ
Адаптивные методы градиентного спуска. Сравнить SGD, RMSProp и ADAM для задачи классификации изображений одежды.
Нарисовать графики ошибки для 3 методов на тренировочном и тестовом множестве с дисперсией для разных запусков.
Ошибки в реализации нейронных сетей
Участники научатся применять методы идентификации ошибок в реализации нейронных сетей для успешного применение нейросетей.
28 июля, 10:00 — 11:30
Домашние задания: 1
ДЗ
Переобучение 2. Добиться переобучения сверточной сети для задачи классификации изображений одежды с учетом новых методов обучения
Современные архитектуры нейронных сетей
В этом модуле мы разберем и реализуем ключевые архитектуры нейронных сетей для решения типичных задач компьютерного зрения, обработки естественных языков, анализа графов и т.д. А так же подробно рассмотрим общие концепции используемые при проектировании и обучении современных архитектур.
Обзор: Inception и ResNet
Участники gознакомятся с одной из самых популярных глубоких архитектур компьюетрного зрения и узнают за счет чего можно обучать очень глубокие нейронный сети
1 августа, 20:00 — 21:30
Домашние задания: 1
ДЗ
Блоки из нейросетей. Реализовать блоки аналогичные Inception и skip-connections для задачи классификации изображений или текстов
Глубокие рекуррентные сети
Участники расширят свои знания в области рекуррентных нейронных сетей и научатся применять общие концепции используемые в глубоких нейронных сетях для повышения эффектиности моделей
4 августа, 10:00 — 11:30
Metric-learning и обучение без примеров
Участники познакомятся с идеей выучивания метрик для решения задач ранжирования и поиска, а так же узнают как использовать данный подход в условиях недостаточной обучающей выборки
8 августа, 20:00 — 21:30
Домашние задания: 1
ДЗ
Сиамские сети. Реализовать модель DSSM для поиска цифр с google street view по запросам в виде рукописных цифр
Обзор: внимание, множества и сегментация
Участники научатся работать с множествами при обучении нейронных сетей, узнают об общей концепции внимания и смогут решать задачу сегментации.
11 августа, 10:00 — 11:30
Нейронные сети для работы с графами
Участники научатся использовать графовые типы данных для решения задач анализа на графах
15 августа, 20:00 — 21:30
Состязательные нейронные сети
В завершении курса мы разберем один из найболее мощных современных фреймворков обучения нейронных сетей и примеры его использования.
Введение в теорию информации
Участники познакомятся с базовыми элементами теории информации для успешного прохождения этого модуля и улучшения понимания современных архитектур нейронных сетей
18 августа, 10:00 — 11:30
Генеративные Состязательные Сети
Участники познакомятся с фреймворком состязательных сетей на примере задачи порождения примеров аналогичных тренировочному множеству.
22 августа, 20:00 — 21:30
Домашние задания: 1
ДЗ
GANs. Реализовать модель генерации рукописных цифр
Состязательный Автокодировщик и условная генерация
Участники познакомятся с новыми техниками применения состязательного фреймворка для повышения эффективности решения задач порождения данных
25 августа, 10:00 — 11:30
Домашние задания: 1
ДЗ
Условная генерация. Реализовать генерацию рукописных цифр заданного класса
Domain Adaptation
Участники познакомятся с мощным подходом решения одинаковых задач на разных датасетах, для повышения точности решения в случае недостаточности данных
29 августа, 10:00 — 11:30
Домашние задания: 1
ДЗ
Перенос классифкатора. Реализовать классификатор рукописных цифр и цифир из SVHN
Обзор: Fader Network и CAAE
Участники познакомятся с наиболее актуальными состязательными моделями и техниками
1 сентября, 10:00 — 11:30
Проект
В рамках курса предусмотрена защита проекта. Проект представляет из себя генеративную модель для порождения текста заданного стиля или изображений заданной тематики.
Проект в ключает в себя следующие этапы:
Выбор тематики
Сбор и подготовка данных соответствующих тематике
Построение и обучение генеративной модели
Проект выполняется в течении двух недель после прохождения курса. Решение должно включать код модели и ее обучения, описание архитектуры модели, отчет об обучении модели и примеры генерации.

Преподаватель

Артур Кадурин
В настоящее время CEO Insilico Taiwan и Chief AI Officer Insilico Medicine

В Mail.ru был первым сотрудником в группе анализа данных департамента рекламных технологий. После того, как группа выросла в отдел, возглавил группу сегментирования аудитории. Руководил и участвовал в проектах связнных с пользовательской аналитикой в рекламе, соц.сетях, играх и т.д.

С 2016 года применяет методы глубокого обучения для научных исследований в области медицинской химии совместно с командой Insilico Medicine, и после успешного проекта занял должность директора по AI. В конце 2017г. в роли исполнительного директора возглавил дочернюю компанию Insilico Taiwan.

В 2008 году получил специальность математик, системный программист в Кубанском Государственном Университете на Факультете Компьютерных Наук и Прикладной Математики, с 2013 года занимается машинным обучением.

Научные публикации:
The cornucopia of meaningful leads: Applying deep adversarial autoencoders for new molecule development in oncology. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5355231/

druGAN: An Advanced Generative Adversarial Autoencoder Model for de Novo Generation of New Molecules with Desired Molecular Properties in Silico. https://www.ncbi.nlm.nih.gov/pubmed/28703000

3D Molecular Representations Based on the Wave Transform for Convolutional Neural Networks. https://www.ncbi.nlm.nih.gov/pubmed/29473756

Книга:
Глубокое обучение. https://www.piter.com/product/glubokoe-obuchenie
"Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!" Больше, чем 150 лет назад Чарльз Доджсон сформулировал актуальную по сей день мысль. Для того, чтобы добиться успеха недостаточно просто делать свое дело, потому что мир меняется вместе с вами. Я уверен, что такие проекты как Otus способны придать участникам ускорение необходимое для того, чтобы "обогнать" меняющийся мир.
Преподаватель курсов:
Machine Learning