Доктест Python зависает с использованием ProcessPoolExecutor

Поэтому я думаю, что проблема связана с вашим утверждением with. Когда у тебя ниже

with concurrent.futures.ProcessPoolExecutor(1) as pool:
    pool.submit(job, "hello")

Он заставляет поток выполняться и закрываться, а затем сам. Когда вы запускаете это как основной процесс, он работает и дает потоку время для выполнения задания. Но когда вы import используете его как модуль, он не дает фоновому потоку шанса, и shutdown в пуле ожидает выполнения работы и, следовательно, deadlock

Итак, обходной путь, который вы можете использовать, приведен ниже.

import concurrent.futures

def job(text):
    print(text)

pool = concurrent.futures.ProcessPoolExecutor(1)
pool.submit(job, "hello")

if __name__ == "__main__":
    pool.shutdown(True)

Это предотвратит deadlock и позволит вам запускать doctest, а также import модуль, если хотите.

Проблема в том, что импорт модуля получает блокировку (какая блокировка зависит от вашей версии Python), см. ссылку документы для imp.lock_held.

Блокировки совместно используются для многопроцессорной обработки, поэтому взаимоблокировка возникает из-за того, что ваш основной процесс во время импорта вашего модуля загружает и ожидает подпроцесс, который пытается импортировать ваш модуль, но не может получить блокировку для его импорта, потому что он в настоящее время импортируется вашим основным процессом.

В ступенчатой ​​форме:

1. Основной процесс получает блокировку для импорта myfile.py
2. Основной процесс начинает импортировать myfile.py (он должен импортировать myfile.py, потому что именно здесь определена ваша функция job(), поэтому она не блокируется для print()).
3. Основной процесс запускается и блокируется подпроцессом.
4. Подпроцесс пытается получить блокировку для импорта myfile.py

=> Тупик.

doctest импортирует ваш модуль для его обработки. Попробуйте добавить это, чтобы предотвратить выполнение при импорте:

if __name__ == "__main__":
    with concurrent.futures.ProcessPoolExecutor(1) as pool: 
        pool.submit(job, "hello")

На самом деле это должен быть комментарий, но он слишком длинный.

Ваш код не работает, если он также импортирован как модуль, с той же ошибкой, что и doctest. Я получаю _pickle.PicklingError: Can't pickle <function job at 0x7f28cb0d2378>: import of module 'a' failed (я назвал файл a.py).

Отсутствие у вас if __name__ == "__main__": нарушает правила программирования для многопроцессорной обработки: https://docs.python.org/3.6/library/multiprocessing.html#the-spawn-and-forkserver-start-methods

Я предполагаю, что дочерние процессы также попытаются импортировать модуль, который затем попытается запустить другой дочерний процесс (поскольку пул выполняется безоговорочно). Но я не уверен на 100% в этом. Я также не уверен, почему вы получаете ошибку can't pickle <function>.

Проблема здесь, похоже, в том, что вы хотите, чтобы модуль автоматически запускал процесс при импорте. Я не уверен, возможно ли это.