Arhn - архитектура программирования

Совместимость HBase и Sqoop

Я использую HBase version 1.3.1, установленный на Amazon, и пытался «импортировать» мою базу данных MSSQL RDBMS в HDFS, используя Sqoop ver. 1.4.6. К сожалению, испытания не увенчались успехом. Совместима ли версия Sqoop 1.4.6 с HBase 1.3.1? Будет ли он успешно выполнять импорт?

Ниже приведена команда, которую я использую для импорта базы данных MSSQL «версия 1.4.6».

sqoop-import --connect "jdbc:sqlserver://SMSSQLDBSerevrname:Port; database=DBName;" 
--username MSSQLDBUserName --P 
--table MSSQLTableName 
--hbase-table HBaseTableName 
--column-family MyColFamilyName 
--hbase-row-key MSSQLTablePrimaryId
import hadoop sqoop hbase
08.01.2018

  • Вы хотите загрузить данные СУБД в HBase? Ваша команда частично подходит для rdbms для hbase, проверьте: stackoverflow.com/questions/16272422/ 08.01.2018
  • Здравствуйте, Анил. Спасибо за ваш вклад. Я попробовал команду импорта Sqoop точно так, как она была описана в сообщении, которое вы мне посоветовали, чтобы посмотреть результат в моем следующем сообщении. 09.01.2018
  • однако вывод был: Исключение в потоке main java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V at org.apache.sqoop.mapreduce.HBaseImportJob .jobSetup(HBaseImportJob.java:222).... Ваш совет..? 09.01.2018

Ответы:


1

Ну... Основная проблема заключалась в конфликте в файлах jar HBase, и решение заключалось в том, чтобы добавить директиву для использования каталога Sqoop bin, поэтому я добавил следующее в структуру команды, которую я задокументировал выше:

--bindir /usr/lib/sqoop/
--target-dir /usr/lib/sqoop/bin/tempd8/media
-verbose

Обратите внимание, что 1. bindir – это каталог, в котором находится каталог sqoop "bin" 2. target-dir – это место, где будут храниться данные исходной таблицы. хранить. 3. -verbose просто для предоставления дополнительной информации об отладке.

Также я столкнулся с проблемами управления памятью, которые мне удалось решить с помощью следующих ссылок: https://community.cloudera.com/t5/Data-Ingestion-Integration/jpb-submitted-to-mapreduce-in-Yarn-is-stuck-while-ingesting-data/td-p/57410/page/2 https://community.cloudera.com/t5/Cloudera-Manager-Installation/Map-Reduce-Jobs-not-starting-on-local-CDH-5-7-0-installation/td-p/39563

============ Чтобы проверить импорт sqoop, выполните следующую команду. Перейдите в каталог /usr/lib/hadoop/ hadoop fs -cat /usr/lib/sqoop/bin/tempd8/media/part- m-*, где «/usr/lib/sqoop/bin/tempd8/media» — это ваш целевой каталог в команде импорта sqoop.

ПРИМЕЧАНИЕ. Посвящается инженеру, который был обеспокоен полезностью сообщения выше.

11.01.2018
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..