Arhn - архитектура программирования

Hive в Windows: корневой рабочий каталог: /tmp/hive в HDFS должен быть доступен для записи

Я пытаюсь преобразовать приложение Spark для использования выходного хранилища ORC вместо формата Parquet. После изменения моего кода у меня возникает следующая ошибка при запуске приложения в Windows:

> java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS
> should be writable. Current permissions are: rw-rw-rw-    at
> org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612)
>   at
> org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
>   at
> org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
>   ... 73 more

Во-первых, мне показалось странным, что он не может писать с разрешениями rw-rw-rw-, но что бы там ни было, я попытался изменить разрешения этого каталога с помощью winutils Hadoop, как описано здесь :

winutils.exe chmod -R 777 \tmp

Но все та же ошибка...

Более того, я также пытался удалить каталог, и приложение автоматически перестроило его с разрешениями 733, но все равно говорит, что не может писать...

EDIT: это не дубликат этот вопрос, потому что моя проблема связана с платформой Windows.

apache-spark hive orc
22.01.2018

  • @user8371915 user8371915 Это не дубликат, моя проблема в Windows 22.01.2018
  • @user8371915 user8371915 Я увидел этот пост и попытался применить решение, как описано выше, но это не решило мою проблему. 22.01.2018
  • Я думаю, что на самом деле это дубликат - связанный вопрос также находится в Windows. 12.07.2018
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..