Arhn - архитектура программирования

Как подтвердить работу куста в CDH 4.2? - местный или удаленный

В моем кластере, который использует CDH 4.2, я вижу два разных файла hive-site.xml. 1. Файл hive-site.xml, который находится в каталоге hive conf. 2. Файл hive-site.xml, который я могу просмотреть из веб-интерфейса CDH 4.2.

Моя проблема в том, что оба этих файла имеют разное содержимое с точки зрения режима выполнения куста. В файле hive-site.xml в каталоге conf указан режим выполнения как «удаленный». Он имеет значение false в качестве значения параметра - hive.metastore.local, а также определяет параметр -> hive.metastore.uris как -

thrift://<machine_name>:9083

Но файл hive-site.xml, который я могу просмотреть с помощью WebUI, указывает локальный режим как истинный и устанавливает следующие параметры.

  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:postgresql://<machine_name>:7432/hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.postgresql.Driver</value>
  </property>

Я думаю, что он работает в локальном режиме, потому что WebUI также указывает, что хранилище метаданных улья работает в процессе улья и прослушивает порт 9083. Кроме того, согласно конфигурации, hiveserver2 должен работать на порту 10000 по умолчанию, что не так.

Итак, у меня есть два запроса: 1. Почему существуют 2 разных файла конфигурации XML? 2. Есть ли «лакмусовая бумажка», подтверждающая, что улей действительно работает в локальном режиме? Спасибо.

hadoop hive cloudera
08.05.2013

Ответы:


1

Согласно объяснению заявки Jira Сверните hive.metastore.uris и hive.metastore.local, если установлено свойство hive.metastore.uris, что в вашем случае хранилище метаданных Hive будет работать в удаленном режиме. Если свойство hive.metastore.uris не задано, то хранилище метаданных Hive будет работать в локальном режиме.

Вышеупомянутое также подразумевает, что свойство hive.metastore.local удалено в Hive 0.10, который является версией в CDH4.

08.05.2013

2

Обязательно убедитесь, что в вашем hive-site.xml есть следующее.

<property>
    <name> hive.metastore.local</name>
    <value>false</value> 
 </property> 
 <property>
    <name> hive.metastore.uris</name>
 <value>thrift://<hive_metastore_server_host>:9083</value> 
</property>

Отвечая на ваш второй вопрос, хорошим тестом является выполнение быстрого запроса улья. Как только MR-задание начнет раскручиваться, вы увидите, указывает ли оно на JobTracker в вашем cluser или в локальном режиме.

09.05.2013
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..