Arhn - архитектура программирования

Массовый индекс Elasticsearch без ошибок

Я запускаю приведенный ниже код в строке cmd (Windows) для массового индексирования около 3 миллионов документов, но ничего не происходит. Я запускаю его, и через секунду он выполняется без вывода, и индекс даже не создается.

 curl -H "Content-Type: application/json" -XPOST "localhost:9200/test1/_doc/_bulk" --data-binary "@huge_JSON"

Я запускаю одну и ту же строку в нескольких строках этого документа, и она отлично работает.

Также работает его запуск в файле с 300 тыс. документов.

Почему не работает и не выдает ошибку?

Изменить: по какой-то причине я теперь получаю сообщение об ошибке:

curl: option --data-binary: out of memory
cmd json elasticsearch
12.04.2018

  • Насколько велик ваш файл в МБ? 12.04.2018
  • Размер файла 850 МБ. 12.04.2018

Ответы:


1

Разделите файл (используйте cygwin и т. д., если в Windows):

split -l 100000 huge_JSON

Запустите эту строку, чтобы проиндексировать каждый из разделенных файлов:

for %%i in (*) do curl -H "Content-Type: application/json" -XPOST "localhost:9200/test1/_doc/_bulk?pretty&refresh" --data-binary  @%%i

OR

Просто используйте логсташ

16.04.2018
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..