Курс переработан

Natural Language Processing (NLP)

Погрузитесь в NLP: освойте различные языковые модели и создайте собственный телеграм-бот

25 апреля

4 месяца

Онлайн

Пн/Чт 20:00 Мск

Для кого этот курс?

Для дата-сайентистов, аналитиков данных и специалистов по машинному обучению

Что такое Natural Language Processing? Natural Language Processing (NLP, обработка естественного языка)– это направление, которое объединяет в себе лингвистику, компьютерные науки и искусственный интеллект. NLP применяет алгоритмы машинного обучения для анализа естественных языков, ResNet и EfficientNet, до самых современных Vision Transformers, таких как MViT

Необходимые знания:

  • базовое знакомство с Python
  • базовые знания линейной алгебры, математического анализа, математической статистики
  • базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)
Хотите изучить или повторить Python, математический анализ и основны ML?

Посмотрите программу ДПО Machine Learning Специализация

Подходит ли эта программа именно вам?

Пройдите короткий тест, который проверяет ваше знание пререквизитов, а именно математики и Python, которые понадобятся вам на курсе

Что даст вам этот курс?

Знаний, которые дают ML/DL курсы, часто оказывается недостаточно, чтобы стать специалистом в области NLP. Data Scientist'ам, которые решили заняться методами, связанными с автоматической обработкой текстов, необходимы дополнительные знания из этой области.

Данный курс представляет собой уникальное сочетание глубоких знаний из области NLP и "повседневных" практических навыков. С одной стороны, программа курса по наполненности и изучаемым темам ничуть не уступает аналогичным вузовскими курсам. С другой стороны, в курсе, помимо теоретичечских знаний, особое внимание уделяется практическим навыкам. 

После завершения курса вы сможете:

  • работать с текстовыми данными
  • парсить, собирать данные с сайтов из интернета
  • создавать телеграм-ботов
  • применять методы классического NLP для решения ML задач, связанных с текстами
  • работать с нейросетевыми моделями архитектуры трансформер
  • применять модели архитектуры трансформер для широкого спектра NLP задач
  • решать задачу распознавания именованных сущностей
  • создавать вопросно-ответные системы
На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно. Стоит отметить, что на курсе делается акцент на особенностях работы с русскоязычными моделями и данными на русском языке.
Hard skills

LLM,  Langchain, RAG, parsing, PyTorch, нейронные сети, backpropagation, реккуретные сети, NER, word2vec, fasttext, n-граммные языковые модели, BERT model, Transformer (GPT3), seq2seq, NLP-бенчмарки, создание телеграм-бота 

Процесс обучения

У нас нет предзаписанных уроков.
Занятия в OTUS – это вебинары.

Преподаватели-практики помогут погрузиться в теорию, обучат на реальных примерах, расскажут о необходимых в работе инструментах. Вы всегда сможете задать вопрос и получить исчерпывающий ответ. И самое главное – сможете практиковаться.

Учитесь онлайн отовсюду. А если вдруг пропустите занятие, просто посмотрите запись.

Оптимальная нагрузка

Возможность совмещать учебу с работой.

Эксперты

Преподаватели из разных сфер, каждый со своим уникальным опытом.

Перспективы

Сможете претендовать на позицию Data Scientist Junior + / Middle+

Трудоустройство

Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должностию

  • Разместите резюме в базе OTUS: так наши партнёры смогут пригласить вас на собеседование
  • Посещайте карьерные мероприятия OTUS: вам расскажут, как лучше проходить собеседование
Формат обучения

Интерактивные вебинары


2 занятия по 2 академ.часа в неделю.
Доступ к записям и материалам остается навсегда

Практика


Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии

Активное комьюнити


Общение с преподавателями на вебинарах, переписки в закрытом телеграм-чате, развёрнутые ответы при проверке домашних заданий

Программа

Python для работы с текстами

Вводный модуль, посвященный повторению основных методов работы с данными в Python и работе с текстами. В модуле также рассмотрены методы парсинга данных и методы работы с регулярными выражениями - необходимые навыки в NLP.

Тема 1: Введение в NLP

Тема 2: Recap python/ data analysis/ визуализации

Тема 3: Работа со строками + регулярные выражения

Тема 4: Парсинг данных

Введение в DL

Вводный модуль по Deep Learning. Данный модуль дает общее представление о нейронных сетях, фокусируясь на методах и архитектурах, востребованных в NLP.

Тема 1: Введение в нейросети

Тема 2: Градиентный спуск и backpropagation

Тема 3: PyTorch. Часть 1

Тема 4: PyTorch. Часть 2

Тема 5: Рекуррентные сети. Часть 1

Тема 6: Рекуррентные сети. Часть 2

Классические методы NLP

В данном модуле изучаются классические методы автоматической обработки текстов, методы, основанные на статистическом анализе. Будут рассмотрены основные методы векторных представлений слов, в том числе word2vec и fasttext, и n-граммные языковые модели.

Тема 1: Предобработка данных и понятие векторных представлений слов

Тема 2: Векторные представления слов и работа с предобученными эмбедингами

Тема 3: Задача NER

Тема 4: Языковые модели (n-grammные языковые модели)

Тема 5: Тематическое моделирование

Нейросетевые языковые модели

Модуль посвящен нейросетевым языковым моделям. Будет детально рассмотрена идея self-attention и архитектура transformer, являющейся стандартном в NLP сегодня. Изучаются наиболее популярные модели на основе архитектуры трансформер (BERT и GPT3) и их применение на практике.

Тема 1: Нейросетевые языковые модели и стратегии генерации текста

Тема 2: Машинный перевод и seq2seq

Тема 3: Архитектура Transformer и концепция attention mechanism

Тема 4: Transfer learning; BERT model

Тема 5: Практическое занятие: работа с предобученными языковыми моделями на практическом примере

Тема 6: Генеративные языковые модели GPT3 и методы few, zero-shot learning

Тема 7: Towards ChatGPT

Практические методы применения LLM и фундаментальных моделей

Модуль посвящен практике использования современных инструктивных языковых моделей. Рассматриваются актуальные приемы промптинга LLM, в том числе ChatGPT. Применение промптинга для задачи RAG (retrieval augmented generation) - генерация ответов с использование базы знаний. Рассматриваются задачи векторного поиска для задачи RAG, в частности работа с библиотеков sentence-transformers. Рассматривается работа с фреймворком LangChain.

Тема 1: Теория промптинга LLM

Тема 2: Sentence-transformers

Тема 3: Langchain

Тема 4: RAG - генерация на основе базы знаний

Дополнительные главы NLP

В модуле рассмотрены дополнительные вопросы из области NLP, выходящие за рамки основной программы: распределенные вычисление, вопросы оценки языковых моделей, вопросно-ответные системы. На практике будет рассмотрено, как создавать телеграмм-ботов и встраивать в них обученные модели.

Тема 1: Оценка языковых моделей: классические NLP-бенчмарки

Тема 2: Вопросно-ответные системы (задача question-answering)

Тема 3: Распределенное обучение

Тема 4: Создание телеграм-бота

Проектный модуль

Проектный модуль, во время которого студенты выполняют финальную работу, на основе методов изученных на курсе

Тема 1: Выбор темы и организация проектной работы

Тема 2: Предзащита №1

Тема 3: Предзащита №2

Тема 4: Защита проектных работ

Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит

Проектная работа


Мы стремимся, чтобы студенты выбирали темы выпускных проектов – сами, а не работали по шаблонным заготовкам. Поэтому все выпускные проекты на курсе– это ценные исследования для ML. Вот темы некоторых из них:
  • Умный поиск по базе отзывов методами NLP
  • Поиск по базе фильмов на основе естественного языка
  • Разработка телеграмм бота клиентской поддержки пользователей пассажирских сервисов
  • Финтех вопросно-ответная система
  • Использование NLP моделей для классификации отзывов и определения тональности

Преподаватели

Руководитель курса

Мария Тихонова

PhD Computer Science, Senior Data Scientist

SberDevices, ВШЭ

Антон Витвицкий

(к.ф.-м.н.) Director of Computer Vision

Boost Arria NLG

Андрей Коняев

Consultant GenAI Machine Learning Engineering

Deutsche Telekom AG - T-Systems International GmbH

Александр Брут-Бруляко

DS инженер (к.э.н.)

Сбер GigaLegal

Дмитрий Гайнуллин

Machine Learning Engineer

AIC

Алексей Клочков

Senior Data Scientist

Kept

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания

Ближайшие мероприятия

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Языковые модели от истоков до Трансформерных моделей
Мария Тихонова
На занятии вы узнаете, что такое языковое моделирование и зачем в NLP используют языковые модели. Помимо этого мы рассмотрим основные языковые модели: от простейших статистических до самых мощных трансформерных архитектур, таких как GPT.

Кому подходит этот урок:

- Практикующим Data Scientist и ИТ-специалистам, которые хотят глубже погрузиться в область NLP
- Тем, кто хочет узнать, что делает ChatGPT такой умной
- Людям, освоившими основы машинного обучения, но желающими развиваться в области DS

Результаты урока: Вы узнаете про задачу языкового моделирования и ее применения в современном NLP. Ккакие существуют языковые модели и изучите набор разных архитектур.
...
1 апреля в 15:00
Открытый вебинар
Word embedding: методы векторных представлений слов
Мария Тихонова
На занятии вы узнаете про алгоритмы word embedding (векторных представлений слов) и то, как они применяются в NLP. Мы поговорим о знаменитом алгоритме Word2Vec и применим его на практике.

Кому подходит этот урок:

- Практикующим Data Scientist и ИТ-специалистам, которые хотят глубже погрузиться в область NLP
- Тем, кто хочет узнать, что делает ChatGPT такой умной
- Людям, освоившими основы машинного обучения, но желающими развиваться в области DS

Результаты урока: Вы узнаете, что такое векторные представления слов, изучите алгоритм word2vec, научитесь его применять на практике.
...
17 апреля в 15:00
Открытый вебинар

Прошедшие
мероприятия

Александр Брут-Бруляко
Открытый вебинар
Промптинг языковых моделей и ChatGPT продвинутые техники
Александр Брут-Бруляко
Открытый вебинар
Как работают доменно-ориентированные чат-боты
Для доступа ко всем прошедшим мероприятиям необходимо пройти входное тестирование
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!

Корпоративное обучение для ваших сотрудников

Отус помогает развивать высокотехнологичные Команды. Почему нам удаётся это делать успешно:
  • Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
  • Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
  • OTUS проверяет знания студентов перед стартом обучения и после его завершения
  • Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
  • Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
  • OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год

Отзывы

Екатерина Шахова

28.09.2023
Последние несколько лет я работала в области финансовой аналитики, но постепенно стала понимать, что для работы с данными нужны более продвинутые способы работы. В результате я решила перейти в сферу Data Science и дальше уже специализироваться на NLP, так как на мой скромный взгляд это одно из наиболее перспективных направлений в DS. Случайно наткнулась на курс OTUS по NLP. В программе курса понравилось то, что он не для начального уровня специалиста в ML, а уже предполагает определенную базу знаний и навыков и концентрируется на выбранной области. Для меня это было в самый раз, так как у меня уже были проекты в ML и хотелось именно NLP специализации. После начала курса была приятно удивлена уровнем и количеством домашних заданий: их было достаточно много, чтобы попрактиковаться и они не были простыми, чтобы не стало скучно. Лекции проходили интерактивно, группа студентов сформировалась бойкая, хотя поначалу стеснялись задавать вопросы. Если я не успевала на занятия, запись появлялась на следующий день и я могла быстро нагнать группу. А защита выпускных работ — просто огонь! Было интересно презентовать свою работу, а еще интереснее слушать других! Сейчас я приступаю к новому проекту в области NLP, который, казалось, до начала обучения я не смогу выполнить. Помимо новых технических знаний в предметной области обучение на курсе придало мне уверенности в себе и открыло для меня новые возможности как в профессиональном плане, так и в личном плане (я продолжаю развлекать друзей и родственников чат-ботами, пишущими гороскопы и анекдоты).

IGOR GARAEV

23.09.2023
Отличный курс, советую всем. Более 10 лет в аналитике данных и давно хотел заняться задачами NLP, но нехватка времени и непонимание с чего начать останавливали меня. Данный курс заложил хорошую базу и понимание сверху всех ветвей NLP. На курсе Марией предложено большое количество практических примеров - за это большое спасибо! Дополнительно курсу необходимо просматривать статьи на medium и постараться прорешать большое количество практических примеров.

Сертификат о прохождении курса

OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.

После обучения вы:

  • Заберёте полный комплект обучающих материалов: видеозаписи вебинаров, презентации к занятиям
  • Разработаете ценный для индустрии проект
  • Повысите личную конкурентоспособность как IT-специалист
  • Получите сертификат об окончании курса

Частые вопросы

Почему OTUS?
Мы обучаем IT-сотрудников уже 6 лет, через OTUS прошли 20000 студентов. Специализируемся на программах для людей с опытом, а ещё – быстро переформатируем учебные программы под изменения в сфере информационных технологий.
Что является наиболее ценным по мнению выпускников?
На курсе «Machine Learning. Professional» вы получите знания, которые можно сразу же применить в работе. Наши преподаватели развёрнуто анализируют домашние задания, активно общаются со студентами в телеграм-чатах и на вебинарах, помогают с выпускными проектами.
Обязательно ли выполнять и защищать выпускной проект?
Для получения сертификата OTUS и УПК (удостоверение повышения квалификации государственного образца) необходимо сдать проект. Кроме того, проект необязательно защищать перед аудиторией, а можно сдать в чате с преподавателем. Для получения УПК также понадобится предъявить документ об образовании.
Обязательно ли выполнять все домашние задания?
Да, если хотите хорошо отточить навыки. На курсе будут практические домашние задания, их выполнение занимает примерно 2-3 часа.
Помогаете ли вы с поиском работы?
Наши преподаватели могут принимать решения о трудоустройстве в своих компаниях. Выполните выпускной проект хорошо, и ваши шансы пройти собеседование значительно возрастут. Ещё OTUS Club проводит карьерные мероприятия: там вы узнаете, например, как проходить интервью и как составлять резюме.
Смогу ли я совмещать учёбу с работой?
Да. Программа рассчитана на студентов, у которых мало времени. Раз в модуль мы даём домашние задания, а лекции проводим дважды в неделю.
Что если в середине курса я не смогу продолжать обучение?
Вы можете бесплатно перейти в другую группу. Но только один раз.
Я могу вернуть деньги?
Да, мы можем вернуть деньги за то время, которое вы ещё не успели отучиться. Например, если курс длится пять месяцев, а вы отучились один, мы вернём деньги за оставшиеся четыре месяца.
Может ли мой работодатель оплатить курс?
Да. Когда свяжетесь с нашим менеджером, уточните, что оплачивать курс будет ваш работодатель.
Остались вопросы?
Оставляйте заявку и задавайте вопросы менеджеру, команда курса с ним на связи и постарается дать вам дать исчерпывающую информацию.