Arhn - архитектура программирования

Многопроцессорная библиотека Python Pool.map()

def myfun(a):
return a*2

p=Pool(5)

k0=time.time()
p.map(myfun,[1,2,3,4,5,6,7,8,9,10,1,2,3,4,5,6,7,8,9,10])
k1=time.time()
print(k1-k0)

k0=time.time()
for i in [1,2,3,4,5,6,7,8,9,10,1,2,3,4,5,6,7,8,9,10]:
  myfun(i)
k1=time.time()
print(k1-k0)

Я использую многопроцессорный пакет в python. Итак, как вы можете видеть, я выполнил два разных фрагмента кода по отдельности. Первый, использующий Pool.map, занимает больше времени, чем второй, который выполняется последовательно. Может ли кто-нибудь объяснить мне, почему так? Я думал, что p.map() будет намного быстрее. Разве это не выполняется параллельно?


  • Почему бы не загружать изображения кода на SO при задании вопроса? 24.08.2018
  • Я никогда не работал с Pool.map(), но я могу точно сказать вам из Java или C, что на небольших данных, независимо от того, сколько потоков вы используете, он всегда будет работать медленнее, чем с одним потоком, потому что требуется время, чтобы «запустить» эти потоки и т. д. Попробуйте запустить код с серьезным for, например, тысячами шагов, и вы увидите хорошие результаты. Если я ошибаюсь, извините, я просто говорю вам, что я испытал на Java или C. 24.08.2018

Ответы:


1

Действительно, как отмечено в комментариях, параллельное выполнение некоторых задач с multiprocessing занимает больше времени. Это ожидается для очень маленьких задач. Причина в том, что вам нужно запускать экземпляр python для каждого процесса для каждого используемого воркера, а также сериализовать и отправлять как функцию, так и данные, которые вы отправляете с помощью map. Это занимает некоторое время, поэтому использование multiprocessing.Pool связано с накладными расходами. Для очень быстрых задач я предлагаю multiprocessing.dummy.Pool, который использует потоки и, таким образом, минимизирует накладные расходы на установку.

Попробуйте поместить time.sleep(x) в вызов функции и изменить x. Вы увидите, что по мере увеличения x функция становится более подходящей для запуска в пуле потоков, а затем в пуле процессов для еще более дорогого x.

27.08.2018
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..