Arhn - архитектура программирования

получение ошибки при запуске куста: org.apache.hadoop.hive.ql.metadata.HiveException: ошибка куста java.lang.RuntimeException и многое другое

мой .bashrc

получение ошибки при запуске куста: org.apache.hadoop.hive.ql.metadata.HiveException: ошибка куста java.lang.RuntimeException и многое другое

Hadoop

export JAVA_HOME=/usr/lib/jvm/java-8-oracle 

export PATH=$PATH:$JAVA_HOME/bin

Mahout

export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

Улей

export MAHOUT_HOME=/usr/local/mahout

# HBase
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

Ваша ошибка начинается с _1 _...

export HIVE_HOME=/home/yash/hive/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin

 My hive-site.xml:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>root</value>
</property>
<property>
  <name>datanucleus.autoCreateSchema</name>
  <value>true</value>
</property>
<property>
  <name>datanucleus.fixedDatastore</name>
  <value>true</value>
</property>
<property>
 <name>datanucleus.autoCreateTables</name>
 <value>True</value>
 </property>
<property>
    <name>hive.querylog.location</name>
    <value>/home/yash/hive/apache-hive-2.1.0-bin/iotmp</value>
    <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/yash/hive/apache-hive-2.1.0-bin/iotmp</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/yash/hive/apache-hive-2.1.0-bin/iotmp</value>
    <description>Temporary local directory for added resources in the        remote file system.</description>
  </property>
</configuration>
 <i>ERROR<i>

    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/home/yash/hive/apache-hive-2.1.0-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

    Logging initialized using configuration in jar:file:/home/yash/hive/apache-hive-2.1.0-bin/lib/hive-common-2.1.0.jar!/hive-log4j2.properties

Джава

28.04.2018

Ответы:


1

Я не думаю, что Mahout пока поддерживает Hadoop 3.x; вы также, похоже, используете Hive 2.x, который также не поддерживает Hadoop 3

Используйте как минимум последнюю версию Hadoop 2.7 или 2.8.

Async: true Исключение в потоке «main» java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: невозможно создать экземпляр org.apache.hadoop.hive.ql.metadata. SessionHiveMetaStoreClient в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:578) в org.apache.hadoop.hive.ql.session.SessionState.beginStart (SessionState.java:518) в org. apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:705) по адресу org.apache.hadoop.hive.cli.CliDriver.main (CliDriver.java:641) по адресу sun.reflect.NativeMethodAccessorImpl.invoke0 (NativeMethodAccessorImpl.invoke0 (NativeMethodAccessorImpl.invoke0) ) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.java:Metho (Method .apache.hadoop.util.RunJar.run (RunJar.java:239) в организации .apache.hadoop.util.RunJar.main (RunJar.java:153) Вызвано: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: невозможно создать экземпляр org.apache.hadoop.hive .ql.metadata.SessionHiveMetaStoreClient в org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce (Hive.java:226) в org.apache.hadoop.hive.ql.metadata.Hive. (Hive.java:366 ) в org.apache.hadoop.hive.ql.metadata.Hive.create (Hive.java:310) в org.apache.hadoop.hive.ql.metadata.Hive.getInternal (Hive.java:290) в org. apache.hadoop.hive.ql.metadata.Hive.get (Hive.java:266) в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:545) ... Еще 9 Вызвано : java.lang.RuntimeException: невозможно создать экземпляр org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient в org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance (MetaStoreUtils.java:16 apache.hadoop.hive.metastore.RetryingMetaStoreClient. (RetryingMetaStoreClient.java:80) в org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy (RetryingMetaStoreClient.getProxy (RetryingMetaStoreClient.getProxy) или RetryingMetaStoreClient.hadryingMetaStoreClient. .getProxy (RetryingMetaStoreClient.java:101) в org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient (Hive.java:3317) в org.apache.hadoop.hive.ql.metadata.Hive.getMSC (Hive .java: 3356) в org.apache.hadoop.hive.ql.metadata. Hive.getMSC (Hive.java:3336) в org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions (Hive.java:3590) в org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions ( Hive.java:236) в org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce (Hive.java:221) ... еще 14 Вызвано: java.lang.reflect.InvocationTargetException в sun.reflect.NativeConstructorAccessorImpl .newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java. : 423) в org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance (MetaStoreUtils.java:1625) ... еще 23 Причина: java.lang.IllegalArgumentException: нераспознанный основной номер версии Hadoop: 3.0 .1 на org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion (ShimLoader.java:169) на org.apache.hadoop.hive.shims.ShimLoader.loadShims (ShimLoader.java:136) на org.apache.ha .hive.shims.ShimLoader.getHadoopShims (ShimLoader.java:95) в org.apache.hadoop.hive.metastore.ObjectStore.getDataSourceProps (ObjectStore.java:402) в org.apache.hadoop.hive.setfasto (ObjectStore.java:275) на org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:77) на org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:137) на org.apache. hadoop.hive.metastore.RawStoreProxy. (RawStoreProxy.java:58) в org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy (RawStoreProxy.java:67) в org.apache.hadoop.hive.metasetaStore.Hive .newRawStore (HiveMetaStore.java:581) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandl er.getMS (HiveMetaStore.java:546) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB (HiveMetaStore.java:608) в $ org.apache.hadoop.hive.Mastore.Mastore (Hive.Mastore) HiveMetaStore.java:398) на org.apache.hadoop.hive.metastore.RetryingHMSHandler. (RetryingHMSHandler.java:78) на org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy (RetryingHandler.getProxy (RetryingHandler.getProxy) или RetryingHandler.getProxy (RetryingHandler.getProxy) или RetryingHandler.getProxy (RetryingHandler.getProxy) или RetryingHMSHandler.getProxy (RetryingHandler.getProxy) apache.hadoop.hive.metastore. HiveMetaStore.newRetryingHMSHandler (HiveMetaStore.java:6396) в org.apache.hadoop.hive.metastore.HiveMetaStoreClient. (HiveMetaStoreClient.java:236) в org.apacheClession.hadoop. 70) ... еще 28

28.04.2018
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..