Arhn - архитектура программирования

пряжа использует 100% ресурсов при выполнении задания улья

Я работаю в улье. задача состоит в том, чтобы загрузить данные из одной таблицы в формате текстового файла в другую таблицу в формате orc.

я использую

INSERT INTO TABLE ORDERREQUEST_ORC 
PARTITION(DATE)
SELECT 
COLUMN1, 
COLUMN2, 
COLUMN3,
DATE
FROM ORDERREQUEST_TXT;

Когда я контролировал задание через веб-консоль ambari, я увидел, что используемая память YARN составляет 100%.

Не могли бы вы посоветовать, как поддерживать память Healthy Yarn.

средняя нагрузка на все три узла данных;

 1. top - 17:37:24 up 50 days, 3:47, 4 users, load average: 15.73, 16.43, 13.52 
 2. top - 17:38:25 up 50 days, 3:48, 2 users, load average: 16.14, 15.19, 12.50 
 3. top - 17:39:26 up 50 days, 3:49, 1 user, load average: 11.89, 12.54, 10.49

Это конфигурации пряжи

 yarn.scheduler.minimum-allocation-mb=5120 
 yarn.scheduler.maximum-allocation-mb=46080 
 yarn.nodemanager.resource.memory-mb=46080

FYI: - Конфигурация моего кластера

 Nodes = 4 (1 Master, 3 DN ) 
 memory = 64 GB on each node 
 Processors = 6 on each node 
 1 TB on each node (5 Disk * 200 GB)

Как уменьшить память использования пряжи?

hadoop hive memory yarn ambari
06.07.2015

  • 5 ГБ на контейнер минимум?? Но в любом случае, каковы фактические hive.tez.container.size (по умолчанию mapreduce.map.memory.mb) и tez.am.resource.memory.mb (по умолчанию yarn.app.mapreduce.am.resource.mb)? 16.03.2016

Ответы:


1

вы получаете сообщение об ошибке, потому что кластер не настроен для выделения максимальной памяти пряжи для каждого пользователя.

Пожалуйста, установите следующие свойства в конфигурациях пряжи, чтобы выделить 33% максимальной памяти пряжи на задание, которое можно изменить в зависимости от ваших требований.

Меняться от:

yarn.scheduler.capacity.root.default.user-limit-factor=1

To:

yarn.scheduler.capacity.root.default.user-limit-factor=0.33

Если вам нужна дополнительная информация об этом, перейдите по следующей ссылке https://analyticsanvil.wordpress.com/2015/08/16/managing-yarn-memory-with-multiple-hive-users/

16.03.2016
  • @Foxan Ng - Можем ли мы использовать заданный параметр при отправке этого задания? Вступит ли оно в силу? 20.02.2021
  • Кроме того, еще один вопрос, является ли этот параметр только для очереди по умолчанию, или установка этого параметра помещает всю очередь в использование 0,33%? 20.02.2021
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..