Arhn - архитектура программирования

Методология обучения CNN в теано с крупномасштабными данными

Я тренирую CNN с изображениями 1M с theano. Теперь я озадачен тем, как подготовить данные для обучения.

Мои вопросы:

  1. Когда изображения изменяются до 64*64*3, размер всех данных составляет около 100 ГБ. Должен ли я сохранять данные в один файл npy или в несколько файлов меньшего размера? какой из них эффективен?

  2. Как определить количество параметров CNN? Как насчет 1М/10 = 100К?

  3. Должен ли я ограничивать стоимость памяти тренировочного блока и параметры CNN меньше, чем память GPU?

Мой компьютер с памятью 16G и графическим процессором Titian.

Большое спасибо.

training-data conv-neural-network large-data theano
02.11.2015

Ответы:


1

Если вы используете инфраструктуру NN, такую ​​как pylearn2, lasagne, Keras и т. д., проверьте документы, чтобы узнать, есть ли рекомендации по повторению пакетов с диска из хранилища hdf5 или аналогичного.

Если ничего нет и вы не хотите создавать свой собственный, fuel package предлагает много полезного схемы итерации данных, которые можно адаптировать к моделям в theano (и, вероятно, в большинстве фреймворков; в репозитории топлива есть хороший учебник).

Что касается параметров, вам придется провести перекрестную проверку, чтобы определить наилучшие параметры для ваших данных.

И да, размер модели + размер мини-пакета + маска отсева для партии должны соответствовать доступному объему оперативной памяти.

29.11.2015
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..