Arhn - архитектура программирования

Мемоизация/кэширование с необязательными аргументами по умолчанию

Я хотел бы сделать декоратор Python, который запоминает функции. Например, если

@memoization_decorator    
def add(a, b, negative=False):
    print "Computing"
    return (a + b) * (1 if negative is False else -1)

add(1, 2)
add(1, b=2)
add(1, 2, negative=False)
add(1, b=2, negative=False)
add(a=1, b=2, negative=False)
add(a=1, b=2)

Я хотел бы, чтобы вывод был

Computing
3
3
3
3
3
3

и вывод должен быть одинаковым при любой перестановке последних 6 строк.

Это сводится к поиску карты, отправляющей эквивалентные наборы *args, **kwargs** на уникальный ключ для кэша мемоизации dict. В приведенном выше примере *args, **kwargs равно

(1, 2), {}
(1,), {'b': 2}
(1, 2), {'negative': False}
(1,), {'b': 2, 'negative': False}
(), {'a': 1, 'b': 2, 'negative': False}
(), {'a': 1, 'b': 2}
python caching memoization
21.04.2016

Ответы:


1

Для запоминания вы можете использовать functools.lru_cache().

Редактировать: проблема с этим для вашего варианта использования заключается в том, что он не считает два вызова функций одинаковыми, если они различаются тем, как они указывают свои аргументы. Чтобы решить эту проблему, мы можем написать наш собственный декоратор, который находится поверх lru_cache() и преобразует аргументы в единую каноническую форму:

from functools import lru_cache, wraps
import inspect

def canonicalize_args(f):
    """Wrapper for functools.lru_cache() to canonicalize default                                                          
    and keyword arguments so cache hits are maximized."""

    @wraps(f)
    def wrapper(*args, **kwargs):
        sig = inspect.getfullargspec(f.__wrapped__)

        # build newargs by filling in defaults, args, kwargs                                                            
        newargs = [None] * len(sig.args)
        newargs[-len(sig.defaults):] = sig.defaults
        newargs[:len(args)] = args
        for name, value in kwargs.items():
            newargs[sig.args.index(name)] = value

        return f(*newargs)

    return wrapper

@canonicalize_args
@lru_cache()
def add(a, b, negative=False):
    print("Computing")
    return (a + b) * (1 if negative is False else -1)

Теперь add() вызывается только один раз за весь набор вызовов в вопросе. Каждый вызов выполняется со всеми тремя аргументами, указанными позиционно.

21.04.2016
  • Я попробовал то, что вы предложили, и это не работает. Например, последовательное выполнение add(1,2) и add(1, 2, negative=False) дает Computing \\ 3 оба раза, поэтому второй вызов вычисляется, а не возвращается из кэша. 21.04.2016
  • @JonWarneke: я понимаю, что ты имеешь в виду. Я расширил свой ответ, включив в него полное решение. 22.04.2016
  • Похоже, это не работает для функции, которая принимает **kwargs в дополнение к обычным аргументам. 16.06.2016
  • inspect.getargspec устарел, начиная с версии 3.0: используйте getfullargspec() для обновленного API, который обычно является заменой, но также правильно обрабатывает аннотации функций и параметры, содержащие только ключевые слова. 18.08.2020

    • 2

    Вы можете использовать inspect.getcallargs(), чтобы получить канонический список аргументов для функции. . Обернуть его в декоратор не должно быть слишком сложно.

    In [1]: def add(a, b, negative=False):
    ...:     print("Computing")
    ...:     return (a + b) * (1 if negative is False else -1)
    ...:
    ...:

In [2]: inspect.getcallargs(add, 1, 2)
Out[2]: {'a': 1, 'b': 2, 'negative': False}

In [3]: inspect.getcallargs(add, 1, 2, True)
Out[3]: {'a': 1, 'b': 2, 'negative': True}

In [4]: inspect.getcallargs(add, 1, 2, negative=False)
Out[4]: {'a': 1, 'b': 2, 'negative': False}

In [5]: inspect.getcallargs(add, 1, b=2, negative=False)
Out[5]: {'a': 1, 'b': 2, 'negative': False}

In [6]: inspect.getcallargs(add, 1, b=2)
Out[6]: {'a': 1, 'b': 2, 'negative': False}
    16.06.2016
  • Устарело, начиная с версии 3.5: вместо этого используйте Signature.bind() и Signature.bind_partial(). 18.08.2020
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..