Литература по нейросетям для продвинутых

В этой статье собраны материалы, которые предназначены не для новичков. Большая часть представленной литературы рассчитана на специалистов, уже имеющих представление о нейронных сетях и желающих повысить свой уровень знаний. Также есть много практических решений:

1. «Самоорганизующиеся карты»

Речь идёт об одной из наиболее распространённых нейросетевых архитектур, которая ориентирована на обучение без учителя. В книге вы найдёте детальное изложение математического аппарата и рассмотрите особенности применения самоорганизующихся карт. Учебник будет полезен, в первую очередь, специалистам по нейромоделированию.

2. Neural Networks for Pattern Recognition

В книге рассматриваются техники моделирования функций плотности вероятности. Вы ознакомитесь с алгоритмами минимизации функции ошибок, а также подробнее узнаете про Байесовский метод и особенности его применения. Бонусом идут более 100 полезных упражнений.

3. Improving neural networks by preventing co-adaptation of feature detectors

Не секрет, что если крупную нейросеть обучать на небольшом наборе данных, она чаще всего выдаст неточный результат. Статья посвящена улучшению нейронных сетей путём предотвращения коадаптации детекторов признаков. Авторы предложат способ, который поможет решить проблему «переобучения». Речь идёт о том, чтобы научить нейроны определять признаки, которые помогут сгенерировать корректный ответ.

4. Emotion Recognition. A Pattern Analysis Approach

Прекраснейший материал, который отличается грамотной структурой и большим объёмом источников и данных. Книга подойдёт для тех, кто увлечён проблематикой распознавания эмоций и детекции с технической точки зрения.

5. Neural Networks for Applied Sciences and Engineering

Перед вами обзор архитектур нейросетей для анализа данных. Есть информация о применении рекуррентных сетей в науке и использовании самоорганизующихся карт при кластеризации нелинейных данных.

6. A Fast Learning Algorithm for Deep Belief Nets

Вы ознакомитесь с алгоритмом, способным обучать DBM (глубокие сети доверия) по одному слою за один раз. Кстати, существует и видеоурок по DBM от одного из авторов статьи (G. E. Hinton).

7. Learning representations by back-propagating errors

Обучение представлений методом обратного распространения ошибки — это основа концепции обучения нейросетей. В данной статье вы найдёте исторический экскурс и реализацию. Очень рекомендуется.

8. Learning to Generate Chairs, Tables and Cars with Convolutional Networks

Статья рассказывает, что генеративные сети способны находить сходства между объектами, обладая более высокой производительностью, если сравнивать с конкурентными решениями. В статье представлена концепция, которую можно использовать, в том числе и для генерации лиц.

9. Image Completion with Deep Learning in TensorFlow

В этом материале вы узнаете, как применять Deep Learning для завершения изображений, используя DCGAN. Материал рассчитан на технических специалистов, имеющих опыт в машинном обучении. Исходный код есть на GitHub.

10. A Practical Guide to Training Restricted Boltzmann Machines

Не что иное, как практическое руководство по тренировке ограниченных машин Больцмана. Включает в себя обзор машин Больцмана и множество рецептов по отладке и улучшению работы системы: вы найдёте информацию по мониторингу, назначению весов, выбору числа скрытых узлов.

11. Generating Faces with Torch

Автор статьи реализует генеративную модель, превращающую случайный «шум» в изображения лиц. Делает он это посредством GAN (генеративной состязательной сети).

12. You Only Look Once: Unified, Real-Time Object Detection

Авторы статьи продемонстрируют YOLO (You Only Look Once) — подход к распознаванию объектов.

13. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

Незаметное для человека изменение изображения может обмануть глубокие нейросети, заставив сеть установить неверный маркер. Данная статья рассказывает об интересных различиях между машинным и человеческим зрением.

14. Deep Voice: Real-time Neural Text-to-Speech

В статье представлена система Deep Voice, предназначенная для преобразования текста в речь. Система построена на глубоких нейросетях, причём за каждый компонент отвечает своя нейронная сеть, следовательно, система работает быстро.

15. PixelNet: Representation of the pixels, by the pixels, and for the pixels

Исследуются принципы генерализации на пиксельном уровне, плюс предлагается алгоритм, адекватно показывающий себя в решении некоторых задач, например, семантической сегментации, выделении границ, оценке нормалей к поверхностям.

16. Generative Models

Пост описывает 4 проекта от OpenAI, адаптирующие генеративные модели. Вы узнаете, что это, где используется, и в чём важность генеративных моделей.

17. Learning to Generate Chairs with Convolutional Neural Networks

Описывается процесс тренировки генеративной сверточной нейросети для генерации изображений объектов по цвету и типу. Сеть может интерполировать ряды изображений, заполняя «пустые места» недостающими элементами.

18. Generative Adversarial Networks (GANs) in 50 lines of code (PyTorch)

Прочитав этот материал, вы узнаете, как натренировать GAN (генеративную состязательную сеть). Для этого достаточно взять PyTorch и написать 50 строчек кода.

За подборку литературы выражается благодарность специалистам компании Neurodata Lab.