Arhn - архитектура программирования

Что обеспечивает лучшую производительность для больших наборов данных? Вложенные словари или словарь объектов?

Я повторяю этот шаблон, когда я извлекаю данные из нескольких таблиц базы данных:

records = {'p_key': { "record": r, "A": list(), "B": list(), "C" : list() } for r in db_records}

Мне часто приходится группировать данные таким образом, потому что я не могу выполнять соединения между базами данных или может возникнуть ситуация, когда несколько запросов быстрее, чем несколько соединений.

Но с точки зрения производительности я не уверен, есть ли много накладных расходов на вложенные словари, подобные этому, и будет ли мне лучше обслуживаться, создавая объект с этими атрибутами, который становится значением в словаре записей. Под производительностью я подразумеваю общую стоимость в пространстве и времени при использовании большого набора вложенных словарей по сравнению со словарем объектов.


  • Если вы выполняете соединения, вам, вероятно, следует рассмотреть возможность использования pandas. 04.11.2019
  • Я не вижу, как объекты будут воспроизводиться быстрее, чем слова, поскольку (1) все в основном является объектом, (2) почти каждый объект имеет __dict__ 04.11.2019
  • Какова цель A, B, C во вложенном словаре? 04.11.2019
  • каждый словарь — это словарь объектов. Диктант — это объект. Все является объектом в Python. Можете быть более конкретными? 04.11.2019

Ответы:


1

По сути, нет никакой разницы в производительности между словарями и обычными объектами класса, потому что внутренние объекты используют словари для обработки своих атрибутов.

Однако вам следует рассмотреть возможность использования классов с __slots__. Здесь подробно объясняется, что это такое и какова его производительность.

Другой вариант — использовать библиотеку pandas для работы с большими наборами данных.

04.11.2019
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..