Arhn - архитектура программирования

Искра высокой доступности

Я использую spark 1.2.1 на трех узлах, на которых работают три рабочих процесса с подчиненной конфигурацией и выполняются ежедневные задания, используя:

./spark-1.2.1/sbin/start-all.sh

//crontab configuration:
./spark-1.2.1/bin/spark-submit --master spark://11.11.11.11:7077 --driver-class-path home/ubuntu/spark-cassandra-connector-java-assembly-1.2.1-FAT.jar --class "$class" "$jar"

Я хочу, чтобы главные и подчиненные исполнители искры всегда были доступны, и даже в случае сбоя мне нужно перезапустить их, как службу (как это делает cassandra).

Есть ли способ сделать это?

ИЗМЕНИТЬ:

Я просмотрел сценарий start-all.sh, и он содержит только настройки для сценария start-master.sh и сценария start-slaves.sh. Я попытался создать для него файл конфигурации supervisor и получил только следующие ошибки:

11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.13: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.
11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.12: ssh: connect to host 11.11.11.13 port 22: No route to host
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.
11.11.11.12: ssh: connect to host 11.11.11.12 port 22: No route to host
11.11.11.13: ssh: connect to host 11.11.11.13 port 22: No route to host
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first.
apache-spark
15.03.2016

  • вам понадобится кластер mesos или chronos или что-то подобное 15.03.2016

Ответы:


1

Существуют такие инструменты, как monit и супервизор (или даже systemd), которые могут отслеживать и перезапускать сбойные процессы.

15.03.2016
  • но spark start-all.sh - это скрипт bash, который запускает ведомые устройства, если я буду использовать супервизор, чтобы поддерживать его - он не будет знать об открытых им подчиненных процессах, и если он выйдет из строя, и супервизор попытается настроить его снова - У меня будут ведомые потоки, которые все еще будут работать... 15.03.2016
  • Тогда не используйте start-all.sh)) Я бы, вероятно, управлял запуском/остановкой демонов искры на каждом узле независимо. В Spark есть скрипт spark-daemon.sh для запуска определенного процесса (ведущего или рабочего) на определенном узле. Итак, вы бы установили supervisord на каждом узле, и он будет управлять демонами искры только на этом конкретном узле. 15.03.2016
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..