Arhn - архитектура программирования

Как ускорить многострочную вставку на SQL-сервер?

Я вставляю около 400 строк в таблицу за раз (SQL Server 2008). Я попробовал UNION ALL, но это значительно замедлило работу. Я остановился на следующем запросе:

INSERT INTO table VALUES (a, b,...),(c, d,...),...(x,y,...);

Когда я делаю этот запрос через ODBC, это занимает примерно 400 мс (я использую C++ и синхронизирую один вызов sqlExecDirect с odbc32.dll). Однако, когда я запускаю запрос в MS SQL Server Management Studio, обернутый Getdate():

SELECT Getdate()
INSERT INTO ...
SELECT Getdate()

это занимает ~ 10 мс. Для сравнения, на той же машине тот же запрос в MySQL занимает примерно 20 мс.

  1. Является ли SELECT Getdata() надежным способом определения времени транзакции?
  2. Почему MS SQL Server Management Studio намного быстрее?
  3. Что я могу сделать, чтобы улучшить производительность? Есть ли альтернативы ODBC? Прямое подключение к SQL-серверу?
sql-server performance
29.09.2010

  • Причина, по которой запрос SSMS выглядел так быстро, заключается в том, что я отправлял один и тот же запрос несколько раз. Просто изменив одну букву в исходном запросе, снова запускается «разбор и компиляция SQL Server», и скорость выполнения снижается до скорости, очень близкой к скорости ODBC. 30.09.2010

Ответы:


1

Первое подключение обычно занимает некоторое время. Это может объяснить первоначальную задержку: в SSMS соединение уже будет установлено, когда вы начнете запрос. Попробуйте выполнить вставку дважды из одной и той же программы на C++ и посмотрите, будет ли это иметь значение.

Также: какой драйвер ODBC вы используете? Для ODBC рассмотрите собственный драйвер:

Driver={SQL Server Native Client 10.0};Server=myServerAddress;
    Database=myDataBase;Uid=myUsername;Pwd=myPassword;

Вместо ODBC вы также можете использовать ADO через COM. Это довольно легко сделать с помощью сгенерированной оболочки. Затем вы можете подключиться с помощью OLE DB:

Provider=SQLNCLI10;Server=myServerAddress;
    Database=myDataBase;Uid=myUsername; Pwd=myPassword;
29.09.2010
  • Замена драйвера на SQL Server Native Client 10.0 не повлияла на производительность. Кажется, что все время тратится на синтаксический анализ и компиляцию SQL Server, что, как я предполагаю, является операцией, происходящей на сервере. Я не уверен, что делает SQL-сервер, но 400 мс для разбора и компиляции 40 КБ текста кажутся слишком длинными. 30.09.2010

    • 2

    то, как вы проводите бенчмаркинг, вы не фиксируете время компиляции. Сделай это:

    SET STATISTICS TIME ON
GO
INSERT INTO ...
    29.09.2010
    Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..