Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25 коллекций.
1. Глубокое обучение с остаточными сетями
Эта публикация - недавние статьи, связанные с остаточными сетями (то есть очень глубокими сетями). Ознакомьтесь со статьей Microsoft Research Глубокое остаточное обучение для распознавания изображений и учебным пособием Kaiming He’ на ICML 2016 Глубокое остаточное обучение, глубокое обучение становится глубже
2. Глубокое обучение для обнаружения и распознавания дорожных знаков
Обнаружение и распознавание дорожных знаков - ключевая функция для беспилотных автомобилей. В этой публикации есть недавние статьи в этой области. Также ознакомьтесь с соответствующей публикацией: Глубокое обучение для обнаружения и классификации транспортных средств
3. Глубокое обучение для обнаружения и классификации транспортных средств
В этой публикации есть недавние статьи об обнаружении и классификации транспортных средств (например, автомобилей), например для самоходных / автономных автомобилей. По теме: ознакомьтесь также с Сквозным глубоким обучением для беспилотных автомобилей от Nvidia и Инженер по самоуправляемым автомобилям от Udacity (Nanodegree).
4. Глубокое обучение с долговременной краткосрочной памятью (LSTM)
В этом сообщении блога есть несколько недавних статей о глубоком обучении с долговременной памятью (LSTM). Для начала я рекомендую ознакомиться с книгами Кристофера Олаха Понимание сетей LSTM и Андрея Карпати Неоправданная эффективность рекуррентных нейронных сетей. Это сообщение в блоге дополнено Глубокое обучение с рекуррентными / рекурсивными нейронными сетями (RNN) - Открытия ICLR 2017.
5. Глубокое обучение в области финансов
В этой публикации есть недавние публикации о глубоком обучении в финансах (например, прогнозирование фондового рынка).
6. Глубокое обучение для поиска информации и обучение ранжированию
Эта публикация посвящена глубокому обучению для поиска информации и обучения ранжированию (т.е. представляет интерес при разработке поисковых систем). Публикация дополняется публикацией Глубокое обучение для ответа на вопросы. Для начала я рекомендую ознакомиться с презентацией Jianfeng Gao (Центр технологий глубокого обучения в Microsoft Research) Глубокое обучение для веб-поиска и обработки естественного языка.
Частично актуальны публикация Глубокое обучение для анализа настроений, публикация Встраивание для НЛП с глубоким обучением, публикация Глубокое обучение для обработки естественного языка (открытия ICLR 2017) и публикация Глубокое обучение для рекомендательных систем
7. Глубокое обучение для ответа на вопросы
В этой публикации представлены последние публикации, связанные с глубоким обучением для ответа на вопросы. Ответ на вопрос описывается как дисциплина информатики в области поиска информации и обработки естественного языка (НЛП), которая связана с построением систем, которые автоматически отвечают на вопросы, задаваемые людьми на естественном языке. Я также опубликую сообщения о глубоком обучении для поиска информации и обучении ранжированию сегодня.
8. Ансамбль глубокого обучения
Машинное обучение на основе ансамблей успешно использовалось в нескольких соревнованиях Kaggle, а в этом году в конкурсе Imagenet доминировали ансамбли в области глубокого обучения », например Команда Trimps-Soushen из 3-го научно-исследовательского института Министерства общественной безопасности (Китай) использовала комбинацию Inception, Inception-Resnet, Resnet и Wide Residual Network, чтобы победить в задаче классификации / локализации объектов. В этом сообщении блога есть недавние статьи, связанные с ансамблями в глубоком обучении.
9. Глубокое обучение для анализа настроений
Недавно я опубликовал Встраивание для НЛП с глубоким обучением (например, word2vec и последующие) и Глубокое обучение для обработки естественного языка - Открытия ICLR 2017 - эта публикация также в основном связана с НЛП, поскольку в ней представлены недавние статьи, связанные с глубоким обучением. для анализа настроений, но также есть примеры других типов настроений (например, тональность изображения).
10. Глубокое обучение с использованием гауссовского процесса
Гауссовский процесс - это статистическая модель, в которой наблюдения находятся в непрерывной области, чтобы узнать больше, ознакомьтесь с учебным пособием по гауссовскому процессу (от Кембриджского университета Зубин Г.). Гауссовский процесс - это бесконечномерное обобщение многомерных нормальных распределений.
Исследователи из Университета Шеффилда - Андреас Даманиану и Нил Д. Лоуренс - начали использовать гауссовский процесс с сетями глубокого убеждения (в 2013 году). Это сообщение в блоге содержит недавние статьи, связанные с объединением глубокого обучения с гауссовским процессом.
11. Глубокое обучение для кластеризации
12. Глубокое обучение в сочетании с электрическими сигналами мозга ЭЭГ
ЭЭГ (электроэнцефалография) - это измерение электрических сигналов в головном мозге. Он давно используется в медицинских целях (например, для диагностики эпилепсии), а в последние годы также использовался в Интерфейсах мозга и компьютера (BCI) - примечание: если BCI является новым для вас, не переусердствуйте в восторге от этого, так как эти интерфейсы, на мой взгляд, еще преждевременны. Но они определенно интересны в долгосрочной перспективе.
В этом сообщении в блоге дается обзор недавних исследований глубокого обучения в сочетании с ЭЭГ, например r для классификации, представления признаков, диагностики, безопасности (когнитивное состояние водителей) и гибридных методов (компьютерное зрение или распознавание речи вместе с ЭЭГ и глубоким обучением).
13. Встраивание для НЛП с глубоким обучением
Встраивание слов было введено Bengio в начале 2000-х, и интерес к нему действительно усилился, когда Google представил Word2Vec в 2013 году.
В этом сообщении блога есть недавние статьи, связанные со встраиванием для обработки естественного языка с помощью глубокого обучения. Примеры внедрения областей приложения, используемых в статьях, включают финансы (прогнозирование фондового рынка), биомедицинский анализ текста, тегирование части речи, анализ настроений, фармакологию (побочные эффекты лекарств).
Я рекомендую вам начать с статьи: В защиту встраивания слов для общего представления текста
14. Безупречное (глубокое) обучение
Zero-Shot Learning - это принятие решений после просмотра только одного или нескольких примеров (в отличие от других типов обучения, которые обычно требуют большого количества обучающих примеров). Порекомендуйте сначала взглянуть на Смущающе простой подход к беспроблемному обучению.
15. Глубокое обучение для диагностики болезни Альцгеймера и поддержки принятия решений
Болезнь Альцгеймера является причиной 60–70% случаев деменции, затраты, связанные с диагностикой, лечением и уходом за пациентами с ней, в США оцениваются в пределах ста миллиардов долларов. В этом сообщении в блоге есть несколько недавних статей, связанных с использованием глубокого обучения для диагностики и поддержки принятия решений, связанных с болезнью Альцгеймера.
16. Рекомендательные системы с глубоким обучением
В этом сообщении блога представлены недавние исследования рекомендательных систем (/ совместной фильтрации) с глубоким обучением. Для начала я рекомендую взглянуть на Обзор и критика глубокого обучения в рекомендательных системах.
17. Глубокое обучение для ультразвукового анализа
Ультразвук (также называемый сонографией) - это звуковые волны с более высокой частотой, чем может слышать человек, они часто используются в медицинских учреждениях, например для проверки протекания беременности с помощью УЗИ плода. Чтобы узнать больше о форматах данных УЗИ, посетите Интерфейс ультразвуковых исследований. В этом сообщении блога есть недавние публикации о применении глубокого обучения для анализа данных УЗИ.
18. Глубокое обучение для музыки
Глубокое обучение (творческий ИИ) потенциально может использоваться для анализа музыки и создания музыки. Deepmind’s Wavenet - шаг в этом направлении. В этом сообщении блога представлены недавние статьи по Deep Learning for Music.
19. Регуляризованные глубокие сети - Открытия ICLR 2017
В этом сообщении блога представлен обзор статей, связанных с использованием регуляризации в глубоком обучении, представленных на ICLR 2017, список статей см. Ниже. Если вы хотите узнать о регуляризации в глубоком обучении, посетите: www.deeplearningbook.org/contents/regularization.html
20. Неконтролируемое глубокое обучение - Открытия ICLR 2017
В этом сообщении блога представлен обзор статей, связанных с неконтролируемым глубоким обучением, представленных на ICLR 2017, список статей см. Ниже. Если вы хотите узнать о неконтролируемом глубоком обучении, посмотрите видео Руслана Салхутдинова Основы неконтролируемого глубокого обучения.
21. Автоэнкодеры в глубоком обучении - Открытия ICLR 2017
В этом сообщении в блоге представлен обзор статей, связанных с автокодировщиками, представленных на ICLR 2017, список статей см. Ниже. Если вы хотите узнать об автоэнкодерах, посмотрите Учебник по автоэнкодерам Стэнфордского университета (UFLDL), Учебник Карла Дёрша по вариационным автоэнкодерам, Видеоурок DeepLearning.TV по автоэнкодерам или книгу Goodfellow, Bengio и Courville Deep Learning глава об автокодерах .
22. Стохастические / политические градиенты в глубоком обучении - Открытия ICLR 2017
В этом сообщении в блоге представлен обзор статей, связанных со стохастическим / политическим градиентом, представленных на ICLR 2017, список статей см. Ниже.
23. Глубокое обучение с рекуррентными / рекурсивными нейронными сетями (RNN) - Открытия ICLR 2017
В этом сообщении в блоге представлен обзор статей, связанных с глубоким обучением с рекуррентными / рекурсивными нейронными сетями (RNN), представленных на ICLR 2017, список статей см. Ниже. Если вы хотите узнать больше о RNN, ознакомьтесь с Неоправданной эффективностью рекуррентных нейронных сетей Андрея Карпати и Как создавать глубокие рекуррентные нейронные сети Паскану, Гульчере, Чо и Бенжио.
24. Глубокое обучение с помощью генерирующих и генерирующих неблагоприятных сетей - Открытия ICLR 2017
В этом сообщении в блоге представлен обзор статей, связанных с глубоким обучением с помощью генерирующих и противодействующих сетей, представленных на ICLR 2017; список статей см. Ниже. Хотите узнать об этих темах? См. Статью OpenAI о Генеративных моделях и статью Яна Гудфеллоу и др. О генеративных состязательных сетях.
25. Глубокое обучение для обработки естественного языка - Открытия ICLR 2017
В этом сообщении блога дается обзор статей, связанных с обработкой естественного языка, представленных на ICLR 2017, список статей см. Ниже. Если вы хотите узнать о глубоком обучении с помощью НЛП, ознакомьтесь с CS224d: Глубокое обучение для обработки естественного языка Стэнфордского университета.
