Arhn - архитектура программирования

Можно ли вручную удалить каталоги разделов таблиц кустов из HDFS без удаления разделов

Допустим, у меня есть разделенная таблица улья

>show partitions db.my_table;
+----------------------------------+
|             partition            |
+----------------------------------+
|        in_date=20-09-2020        |
|        in_date=21-09-2020        |
|        in_date=22-09-2020        |
+----------------------------------+

Если я вручную удалю каталоги разделов из HDFS с помощью

$hadoop fs -rm -r 'path/to/table/in_date=20-09-2020';

но не удаляйте разделы из таблицы улья

Вызовет ли это какую-либо реальную проблему (кроме наличия потерянных имен разделов в метаданных таблицы)?

ЧТО Я ПРОВЕРИЛ

Запросы таблицы куста работают нормально (как для внешних, так и для внутренних таблиц)

>select * from db.my_table;   --works fine
>show partitions db.my_table  --shows orphaned partitions,not a real problem

EDIT: запросы функций Aggergate, такие как COUNT (), MAX () и т. Д., Завершаются ошибкой
Путь ввода не существует: path / to / table / in_date = 20-09-2020

Кто-нибудь знает, может ли это вызвать другие проблемы / сломать какое-то другое приложение?

09.03.2021

Ответы:


1

В Tez это вызывает исключение FileNotFound Exception, потому что метаданные раздела существуют, а папка отсутствует. Также удалите раздел: ALTER TABLE DROP PARTITION(in_date='20-09-2020')

09.03.2021
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..