Предположим, мы обучаем нейронную сеть с помощью градиентного спуска, используя одни и те же данные дважды (двукратная рандомизация исходных параметров). Возможно ли, что наш алгоритм будет сходиться к разным локальным минимумам?
Возможно ли, что наш алгоритм сойдется к разным локальным минимумам, если мы будем использовать одни и те же данные дважды (дважды рандомизируя исходные параметры)?
26.04.2020
Ответы:
1
Да. Градиентный спуск, как следует из названия, идет «вниз» по отношению к функции потерь. Но простое движение вниз не означает, что вы достигнете самой низкой долины.
Рассмотрим этот пример с двумя локальными минимумами.
Если случайно инициализированные параметры приводят к начальным результатам около A, слева от b, то градиентный спуск будет идти вниз к A. Но если начальные параметры ведут к выходам справа от b, ближе к C, то направление вниз — к C.
Градиентный спуск будет просто идти под гору. Какой это путь и где вы можете оказаться, во многом зависит от того, с чего вы начнете.
26.04.2020
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом
Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти
// You can specify the columns you need
// in when you use the find method on a model
User::find(‘id’, [‘email’,’name’]);
// You can increment or decrement
// a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv)
Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации —
2. Используя квадратичную формулу —
3. Заполнив квадрат —
Давайте поймем это, решив это простое уравнение:
Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС
Демистификация рекурсии
Упрощенная концепция ошеломляющей
О чем весь этот шум?
Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..