Arhn - архитектура программирования

Как прописать постоянную искру udf?

Я хотел бы использовать свой udf в других сеансах или в представлении, так есть ли способ зарегистрировать постоянный Spark UDF, написанный на Python или scala?

view apache-spark user-defined-functions permanent
16.12.2018

Ответы:


1

ты не можешь. У Spark нет «сервера», он взаимодействует с менеджером ресурсов (Yarn/Kubernetes/Mesos) и развертывается заново при каждом задании. Вам нужно либо иметь код как часть пакета, который вы отправляете, либо в предварительном пакете в файле jar/zip, который вы включаете в задание. В обоих случаях вам необходимо зарегистрировать файл udfs.

16.12.2018
  • Спасибо. Нужно написать его в Java Hive UDF и зарегистрироваться 21.01.2019
  • Разве это не ужасно раздражает? В Cobol вы можете включить копию книги. Есть ли что-то подобное в Scala? Их нельзя вызывать динамически в любом случае? Итак, что, если кодовая ваза UDF изменится? 03.03.2019
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..