Arhn - архитектура программирования

Массовая запись SDK для MariaDB ColumnStore занимает вечность

Я пытаюсь использовать пакет SDK для массовой записи ColumnStore MariaDB на Java для массовой вставки 10 строк в таблицу с 50 столбцами (тип данных int), но он так и не закончился, пришлось убить процесс за 10-15 попыток пару раз, но те же результаты.

это пример кода из их документа https://mariadb.com/kb/en/library/columnstore-bulk-write-sdk/#rhel-centos-7

import com.mariadb.columnstore.api.*;

public class MCSAPITest {

        public static void main(String[] args) {
        ColumnStoreDriver d = new ColumnStoreDriver();
        ColumnStoreBulkInsert b = d.createBulkInsert("test", "t1", (short)0, 0);
        try {
           int rows = 10;
           int columns = 50;
           for (int i = 0; i < rows; ++i) {
            for (int c = 0; c < columns; ++c) {
                b.setColumn(c, 0);
            }
            System.out.println("Writing row: " + i);
            b.writeRow();
        }
        System.out.println("Commiting Now");
        b.commit();
        }
        catch (ColumnStoreException e) {
            b.rollback();
            e.printStackTrace();
        }
    }
}

Пробовал уменьшить количество столбцов до 20, работает нормально. Кто-нибудь заметил это?

06.03.2018

Ответы:


1

Если вы следовали руководству и создали таблицу как:

create table t1(i int, c char(3)) engine=columnstore;

Вы можете вставлять данные только в два столбца. Было бы разумно дважды проверить, соответствует ли количество столбцов в таблице количеству столбцов, которые вы вставляете.

Независимо от того, сколько столбцов содержится в таблице, вставка большего количества столбцов, чем есть в таблице, должно вызвать исключение. Обычная рекомендация — открыть отчет об ошибке для этого неожиданного поведения в Jira MariaDB в рамках проекта ColumnStore.

Запуск кода под отладчиком позволит вам определить, где код зависает. Это ценная информация, которую разработчики могут использовать, чтобы выяснить, почему он ведет себя не так, как ожидалось.

07.03.2018
  • Таблица создается с 50 столбцами с типом данных int. 07.03.2018

  • 2

    Я обратился к команде разработчиков, и проблема исправлена ​​в версии 1.1.4. Подробнее здесь. https://jira.mariadb.org/browse/MCOL-1245

    28.03.2018
    Новые материалы

    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..