Arhn - архитектура программирования

У Google Colab проблемы с папками на Диске, содержащими много файлов

Я импортировал несколько папок с Диска в Google Colab. Папки меньшего размера работают нормально при перечислении каталогов, но когда я пытаюсь перечислить каталоги в более крупных папках, Colab выдает ошибку.

Я знаю, что есть и другие способы перечисления каталогов, но эта же проблема вызывает проблемы в дальнейшем, когда я пытаюсь получить доступ к файлам для обучения.

Я использую это для импорта файлов:

from google.colab import drive
drive.mount('/content/drive')

А затем описываем папки следующим образом:

TRAIN = '../content/drive/My Drive/train/'
TEST = '../content/drive/My Drive/test/'

Когда я пытаюсь сделать следующее:

print(os.listdir(TEST))
print(os.listdir(TRAIN))

ТЕСТ печатает нормально. В нем около 8000 файлов (все изображения).

ПОЕЗД печатает одни раз, другие нет! В нем около 32 000 файлов (все изображения тоже). Он печатает это, когда я пытаюсь его запустить:

OSError: [Errno 5] Input/output error: '../content/drive/My Drive/train/'

Кто-нибудь знает, как это исправить в гугл колабе?

Я обнаружил, что если после импорта файлов я жду некоторое время, а затем запускаю распечатку, он запускается, что говорит о том, что Colab требуется время для обработки файлов с Диска даже после того, как импорт ячеек перестает выполняться.


Ответы:


1

Время ожидания операции Drive FUSE истекает, когда количество файлов в каталоге становится большим.

Операции ввода-вывода для каталогов Диска пропорциональны количеству файлов в каталоге. Поскольку в клиенте FUSE установлен фиксированный тайм-аут, когда количество файлов становится достаточно большим, операции в каталоге завершатся ошибкой.

Обходной путь - организовать файлы в подкаталоги, чтобы количество файлов или папок в одном каталоге не становилось таким большим.

13.02.2019

2
OSError: [Errno 5] Input/output error: '../content/drive/My Drive/train/'

причина в том, что Google Colab не может читать дерево файлов как '../content/drive/My Drive/train/', поэтому измените его как _3 _. (или укажите полный путь в зависимости от вашего текущего рабочего каталога)

01.06.2019
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..