Arhn - архитектура программирования

Понимание искры --master

У меня есть простое приложение spark, которое читает master из файла конфигурации:

new SparkConf()
  .setMaster(config.getString(SPARK_MASTER))
  .setAppName(config.getString(SPARK_APPNAME))

Что произойдет, если мое приложение будет запущено следующим образом:

spark-submit --class <main class> --master yarn <my jar>

Мой мастер будет перезаписан?

Я предпочитаю, чтобы мастер предоставлялся стандартным образом, поэтому мне не нужно поддерживать его в моей конфигурации, но тогда возникает вопрос, как я могу запустить это задание непосредственно из IDEA? это не мой аргумент приложения, а аргумент отправки искры.

Просто для пояснения, мой желаемый конечный продукт должен:
при запуске в кластере с использованием --master yarn, будет использовать эту конфигурацию
при запуске из IDEA будет работать с local[*]

apache-spark master yarn
09.03.2016

Ответы:


1
  1. Не устанавливайте мастер в свой код.
  2. В производстве вы можете использовать опцию --master из spark-submit, которая сообщит искре, какой мастер использовать (пряжа в вашем случае). также значение spark.master в файле spark-defaults.conf выполнит задание (приоритет отдается --master, а затем свойству в файле конфигурации)
  3. В IDEA... ну, я знаю, что в Eclipse вы можете передать аргумент виртуальной машины в Run Configuration -Dspark.master=local[*], например (https://stackoverflow.com/a/24481688/1314742). В IDEA я думаю, что это не слишком сильно отличается, вы можете проверить здесь чтобы добавить параметры ВМ
09.03.2016
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..