Arhn - архитектура программирования

Потоковая передача объекта S3 в ответ Http-сервера VertX

Название в основном объясняет само себя.

У меня есть конечная точка REST с VertX. После его нажатия у меня появляется некоторая логика, которая приводит к объекту AWS-S3.

Моя предыдущая логика заключалась не в загрузке в S3, а в том, чтобы сохранить его локально. Итак, я могу сделать это в ответе routerCxt.response().sendFile(file_path...).

Теперь, когда файл находится в S3, мне нужно загрузить его локально, прежде чем я смогу вызвать приведенный выше код.

Это медленно и неэффективно. Я хочу передать объект S3 напрямую в объект response.

В Express это примерно так. s3.getObject(params).createReadStream().pipe(res);.

Я немного прочитал и увидел, что VertX имеет класс с именем Pump. Но он используется vertx.fileSystem() в примерах.

Я не уверен, как подключить InputStream от S3'sgetObjectContent() к vertx.fileSystem(), чтобы использовать Pump.

Я даже не уверен, что Pump правильный путь, потому что я пытался использовать Pump для возврата локального файла, но это не сработало.

    router.get("/api/test_download").handler(rc -> {
        rc.response().setChunked(true).endHandler(endHandlr -> rc.response().end());
        vertx.fileSystem().open("/Users/EmptyFiles/empty.json", new OpenOptions(), ares -> {
            AsyncFile file = ares.result();
            Pump pump = Pump.pump(file, rc.response());
            pump.start();
        });
    });

Есть ли какой-нибудь пример для этого?

Спасибо

amazon-s3 stream vert.x
03.08.2018

Ответы:


1

Это можно сделать, если вы используете Vert.x WebClient для связи с S3 вместо Amazon Java Client.

WebClient может направить содержимое в ответ HTTP-сервера:

webClient = WebClient.create(vertx, new WebClientOptions().setDefaultHost("s3-us-west-2.amazonaws.com"));

router.get("/api/test_download").handler(rc -> {
HttpServerResponse response = rc.response();
response.setChunked(true);
webClient.get("/my_bucket/test_download")
 .as(BodyCodec.pipe(response))
  .send(ar -> {
    if (ar.failed()) {
      rc.fail(ar.cause());
    } else {
      // Nothing to do the content has been sent to the client and response.end() called
    }
  });
});

Уловка заключается в использовании pipe основного кодека.

03.08.2018
  • Спасибо. Это сделало меня шагом в правильном направлении. Есть ли какой-нибудь заголовок, который я должен добавить к response headers? Когда я не добавлял ничего лишнего header, он не загружал его, когда я добавил Content-Type: binary/octet-stream, он загружал пустой файл. Я заранее проверил временный URL-адрес, и он его загружает. Так что, вероятно, причина не в этом. 06.08.2018
  • Вроде отдельная проблема. Лучше бы выложить полный репродуктор на форум Vert.x. 07.08.2018
  • эй .. я понял это .. это была ошибка новичка, n-я важная. Спасибо за помощь. 09.08.2018
  • Спасибо за предупреждение! 09.08.2018
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..