Вопросы по теме 'hive'
Основы Hadoop: что мне делать с выводом?
(Я уверен, что подобный вопрос существует, но я еще не нашел ответ, который ищу.)
Я использую Hadoop и Hive (для наших разработчиков, знакомых с SQL) для пакетной обработки нескольких терабайт данных каждую ночь. Из нескольких сотен...
04.11.2023
Как подтвердить работу куста в CDH 4.2? - местный или удаленный
В моем кластере, который использует CDH 4.2, я вижу два разных файла hive-site.xml. 1. Файл hive-site.xml, который находится в каталоге hive conf. 2. Файл hive-site.xml, который я могу просмотреть из веб-интерфейса CDH 4.2.
Моя проблема в том,...
07.11.2023
пряжа использует 100% ресурсов при выполнении задания улья
Я работаю в улье. задача состоит в том, чтобы загрузить данные из одной таблицы в формате текстового файла в другую таблицу в формате orc.
я использую
INSERT INTO TABLE ORDERREQUEST_ORC
PARTITION(DATE)
SELECT
COLUMN1,
COLUMN2,
COLUMN3,...
30.11.2023
накопление файлов tmp в fs.s3.buffer.dir
Я запускаю кластер EC2 с s3 (файловая система s3://). Здесь, когда я запускаю любой запрос hive или какую-либо команду hadoop, которая работает с очень большими данными, она копирует файлы tmp на локальный диск на узлах до/после их копирования в/из...
29.10.2023
Получение исключения при записи набора данных в Hive
Я пытаюсь записать DataSet в базу данных Hive с помощью Spark Java, но в процессе я получаю исключение.
Это мой код:
Dataset<Row> data = spark.read().json(rdd).select("event.event_name");...
27.11.2023
Вычисление сходства Жаккара в улье
У меня были данные, как показано ниже:
CustomerId Category
100 2
100 2
100 3
100 6
100 4
200 3
200 6
200 7
300 2
Итак, мне...
10.12.2023
Hive в Windows: корневой рабочий каталог: /tmp/hive в HDFS должен быть доступен для записи
Я пытаюсь преобразовать приложение Spark для использования выходного хранилища ORC вместо формата Parquet. После изменения моего кода у меня возникает следующая ошибка при запуске приложения в Windows:
> java.lang.RuntimeException: The root...
22.10.2023
получение ошибки при запуске куста: org.apache.hadoop.hive.ql.metadata.HiveException: ошибка куста java.lang.RuntimeException и многое другое
мой .bashrc
получение ошибки при запуске куста: org.apache.hadoop.hive.ql.metadata.HiveException: ошибка куста java.lang.RuntimeException и многое другое
Hadoop
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export...
24.11.2023
Predicate Pushdown vs On Clause
При выполнении соединения в Hive и последующей фильтрации вывода с помощью предложения where компилятор Hive попытается отфильтровать данные перед объединением таблиц. Это называется раскрытием предиката (...
06.12.2023
Как объединить файлы в Hive, разделенные на разделы и сгруппированные, в один большой файл?
Я работаю над кластером Azure HDInsight для обработки больших данных. Несколько дней назад я создал в улье разделенную и разделенную на сегменты таблицу, объединив множество файлов.
Поскольку в Azure нет возможности остановить кластер, мне...
24.11.2023
Можно ли вручную удалить каталоги разделов таблиц кустов из HDFS без удаления разделов
Допустим, у меня есть разделенная таблица улья
>show partitions db.my_table;
+----------------------------------+
| partition |
+----------------------------------+
| in_date=20-09-2020 |
|...
20.11.2023
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом
Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти
// You can specify the columns you need
// in when you use the find method on a model
User::find(‘id’, [‘email’,’name’]);
// You can increment or decrement
// a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv)
Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации —
2. Используя квадратичную формулу —
3. Заполнив квадрат —
Давайте поймем это, решив это простое уравнение:
Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС
Демистификация рекурсии
Упрощенная концепция ошеломляющей
О чем весь этот шум?
Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..