Arhn - архитектура программирования

Можно ли реализовать Pregel в Erlang без супершагов?

Допустим, мы реализуем Pregel с помощью Erlang. . Зачем нам на самом деле нужны супершаги? Не лучше ли просто отправлять сообщения от одного супервизора процессам, представляющим узлы? Они могли бы просто применить функцию расчета к себе, отправить сообщения друг другу, а затем отправить сообщение «готово» супервизору.

Какова цель супершагов в параллельной реализации Pregel на Erlang?

parallel-processing erlang otp
20.09.2011

  • эй мартин .. по какой-то причине я не смог ответить на твой комментарий в своем блоге. 20.09.2011
  • эй, Арун... Я буду ждать ответа в твоем блоге. 20.09.2011
  • Пожалуйста, удалите папку phoebus и повторно клонируйте ее из git. Убедитесь, что вы загрузили исполняемый файл арматурного стержня и он доступен в вашей переменной PATH. Генерация должна работать 21.09.2011

Ответы:


1
  • Концепцию SuperStep, поддерживаемую моделью Pregel, можно рассматривать как своего рода барьер для параллельных исполняемых объектов. В конце каждого супершага каждый рабочий процесс сбрасывает свое состояние в постоянное хранилище.
  • Алгоритм ставится контрольная точка в конце каждого супершага, так что в случае сбоя, когда новый узел должен взять на себя функцию вышедшего из строя однорангового узла, у него есть точка, с которой можно начать. Pregel гарантирует, что, поскольку данные узла были сброшены на диск до запуска SuperStep, он может надежно запуститься именно с этой точки.
  • Это также в некотором смысле означает «прогресс» алгоритма. Алгоритму/работе pregel может быть предоставлено «максимальное количество супершагов», после которого алгоритм должен завершиться.

То, что вы указали в своем вопросе (о супервизорах, отправляющих работнику функцию расчета и ожидающих «сделано»), определенно может быть реализовано (хотя я не думаю, что текущий супервизор, упакованный с OTP, может делать такие вещи из коробки), но я думаю концепция SuperStep - это просто требование модели Pregel. Если, с другой стороны, вы реализуете что-то вроде параллельного картографа (например, то, что Джо реализует в своей книге), вам не понадобятся супершаги/

20.09.2011
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..