Датасеты для машинного обучения | OTUS
🔥 BLACK FRIDAY!
Максимальная скидка -25% на всё. Успейте начать обучение по самой выгодной цене.
Выбрать курс

Курсы

Программирование
iOS Developer. Basic
-25%
Python Developer. Professional
-25%
Разработчик на Spring Framework
-25%
Golang Developer. Professional
-25%
Python Developer. Basic
-25%
iOS Developer. Professional
-25%
Highload Architect
-25%
JavaScript Developer. Basic
-25%
Kotlin Backend Developer
-25%
JavaScript Developer. Professional
-25%
Android Developer. Basic
-25%
Unity Game Developer. Basic
-25%
Разработчик C#
-25%
Программист С Web-разработчик на Python Алгоритмы и структуры данных Framework Laravel PostgreSQL Reverse-Engineering. Professional CI/CD Vue.js разработчик VOIP инженер Программист 1С Flutter Mobile Developer Супер - интенсив по Kubernetes Symfony Framework Advanced Fullstack JavaScript developer Супер-интенсив "Azure для разработчиков"
Инфраструктура
Мониторинг и логирование: Zabbix, Prometheus, ELK
-25%
DevOps практики и инструменты
-25%
Архитектор сетей
-25%
Инфраструктурная платформа на основе Kubernetes
-25%
Супер-интенсив «IaC Ansible»
-16%
Разработчик программных роботов (RPA) на базе UiPath и PIX
-25%
Супер-интенсив "SQL для анализа данных"
-16%
Базы данных Сетевой инженер AWS для разработчиков Cloud Solution Architecture Разработчик голосовых ассистентов и чат-ботов Внедрение и работа в DevSecOps Администратор Linux. Виртуализация и кластеризация Нереляционные базы данных Супер-практикум по использованию и настройке GIT IoT-разработчик Супер-интенсив «ELK»
Специализации Курсы в разработке Подготовительные курсы
+7 499 938-92-02

Датасеты для машинного обучения

Для машинного обучения надо очень много данных. Их можно собирать самому (что крайне утомительно) или использовать уже готовые (что гораздо быстрее). В этой статье вы найдёте уже готовые датасеты по самым разным категориям.

Датасеты по финансам и экономике:

Quandl. Прекрасный источник финансово-экономических данных. Пригодится для построения моделей прогнозирования экономических показателей; • World Bank Open Data. Эти наборы данных охватывают демографическую ситуацию и включают в себя большое число индикаторов развития и экономических показателей со всего мира; • IMF Data. МВФ публикует данные о международных финансах, валютных резервах, инвестициях, показателях долга, ценах на сырьё; • Financial Times Market Data. Здесь вы найдёте актуальную информацию о мировых финансовых рынках, включая индексы цен на акции, валюту и товары; • American Economic Association (AEA). Неплохой источник данных об американской макроэкономике.

Датасеты по компьютерному зрению:

xView. Самый большой общедоступный набор воздушных снимков земли. Включает в себя изображения сцен со всего мира, аннотированные с помощью ограничительных рамок; • Labelme. Тоже большой датасет аннотированных изображений; • ImageNet. Датасет изображений, организованный в соответствии с иерархией WordNet; • LSUN. Здесь изображения разбиты по сценам и категориям с частичной разметкой данных; • MS COCO. Крупномасштабный датасет, который пригодится для обнаружения и сегментации объектов; • COIL100. Сто различных объектов, которые изображены под каждым углом и в круговом обороте; • Visual Genome. Здесь вы найдёте около 100 тыс. подробно аннотированных изображений; • Google’s Open Images. Коллекция из 9 млн URL-адресов к изображениям, помеченных метками и охватывающих более 6000 категорий; • Labelled Faces in the Wild. Набор из 13 тысяч размеченных изображений лиц людей. Пригодится для технологии распознавания лиц; • Stanford Dogs Dataset. Включено 20 580 изображений из 120 пород собак; • Indoor Scene Recognition. Датасет по распознаванию интерьера зданий. Включает 15 620 изображений и 67 категорий.

Датасеты для анализа тональности текста:

Multidomain sentiment analysis dataset. Чуть устаревший датасет, включающий отзывы на товары с Amazon; • IMDB reviews. Тоже не новый и относительно небольшой датасет для бинарного анализа тональности. Содержит 25 000 отзывов к фильмам; • Stanford Sentiment Treebank. Стэнфордский датасет; • Sentiment140. Популярный датасет, который содержит 160 000 твитов; • Twitter US Airline Sentiment. Набор данных из Twitter, включающий в себя негативные, положительные и нейтральные твиты об авиакомпаниях США.

Датасеты для обработки естественного языка:

HotspotQA Dataset. В этом датасете вы найдёте вопросы-ответы, позволяющие создавать системы для ответов на вопросы; • Amazon Reviews. Более 35 миллионов отзывов с Amazon за 18 лет. Включают информацию о продукте и пользователе, а также оценки и непосредственно текст отзыва; • Google Books Ngrams. Коллекция слов из Google Books; • Blogger Corpus. Коллекция постов с Blogger. Каждый блог включает не менее 200 вхождений наиболее часто применяемых английских слов. Всего — более 600 тысяч постов; • Wikipedia Links data. Этот датасет состоит из веб-страниц. Каждая из них включает хотя бы одну ссылку на Википедию, а текст её якоря совпадает либо похож на заголовок целевой страницы; • Hansards text chunks of Canadian Parliament. Содержатся более миллиона пар текстовых файлов, записанных с дебатов 36-го Канадского Парламента; • Gutenberg eBooks List. Аннотированный список электронных книг проекта «Гутенберг»; • Jeopardy. Архив включает больше 200 тыс. вопросов с телевикторины Jeopardy; • Rotten Tomatoes Reviews. Больше 480 тыс. рецензий с Rotten Tomatoes; • SMS Spam Collection in English. Датасет из 5574 спам-смс на английском; • UCI’s Spambase. Тоже большой датасет спам-писем; • Yelp Reviews. Датасет от Yelp, включающий более 5 млн отзывов.

Датасет для автопилотов:

Berkeley DeepDrive BDD100k. Один из наибольших датасетов для автопилотов. Включает более 100 тыс. видео с более чем тысячью часами записей вождения в различное время суток и в разных погодных условиях; • Baidu Apolloscapes. Датасет для распознавания 26 семантически разных объектов типа машин, зданий, пешеходов, велосипедов уличных фонарей и т. п.; • Comma.ai. Больше 7 часов езды по шоссе. В датасете содержится информация о скорости машины, GPS-координатах, ускорении, угле поворота руля; • Oxford’s Robotic Car. Больше ста повторений одного маршрута по Оксфорду, заснятого в течение года. В датасете есть разные комбинации трафика, пешеходов, погодных условий, а также дорожные работы; • Cityscape Dataset. Записи ста уличных сцен в пятидесяти городах; • KUL Belgium Traffic Sign Dataset. Больше 10 тыс. аннотаций различных светофоров в Бельгии; • LISA. Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets. Датасет со светофорами, дорожными знаками, распознанными средствами передвижения, а также траекториями движения; • WPI datasets. Датасет для распознавания светофоров, дорожной разметки, пешеходов.

Датасет с медицинскими данными:

MIMIC-III. В этом датасете хранятся обезличенные данные о состоянии здоровья более 40 тыс. пациентов, находящихся на интенсивной терапии. Вы найдёте демографические данные, лабораторные анализы, показатели жизнедеятельности, лекарства и многое другое.

Где ещё искать датасеты?

Поискать датасеты можно и самостоятельно, но нужно знать, где это делать. Вот несколько сервисов: • Google Dataset Search. Вы можете искать датасеты по всему интернету, используя ключевое слово; • Kaggle. Площадка, предназначенная для соревнований по ML, где вы найдёте множество интересных датасетов; • UCI Machine Learning Repository. Сюда нужно заглянуть в первую очередь, т. к. это старейший источник датасетов в Сети; • VisualData. Это датасеты для компьютерного зрения, которые разбиты по категориям. Есть возможность поиска; • Find Datasets | CMU Libraries. Эта коллекция датасетов представлена университетом Карнеги Меллон.

По материалам статьи «The Best Public Datasets for Machine Learning and Data Science».

Не пропустите новые полезные статьи!

Спасибо за подписку!

Мы отправили вам письмо для подтверждения вашего email.
С уважением, OTUS!

Автор
0 комментариев
Для комментирования необходимо авторизоваться
🎁 Максимальная скидка!
Черная пятница уже в OTUS! Скидка -25% на всё!