Arhn - архитектура программирования

потеря масштаба при выполнении расчета

Я выполняю расчет и не получаю ожидаемого ответа. Я теряю масштаб при расчете.

Расчет: 651/1000 * -413,72063274 = -269,33213191 (до 8 д.п.)

В SQL Server я делаю это:

declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)

set @var = -413.72063274
set @a   = 651.00000000
set @b   = 1000.00000000

select CAST((@a/@b) * @var as numeric(28,8)) as result_1
     , CAST(CAST(@a as numeric(28,8)) 
      /CAST(@b as numeric(28,8)) as numeric(28,8)) 
      *CAST(@var as numeric (28,8))   as result_2

Результаты

result_1: -269.33213200 (исправить до 6dp)
result_2 : -269.332132 (исправить до 6dp)

Как сделать так, чтобы запрос возвращал: -269.33213191 (правильно на 8dp)?

sql-server sql-server-2008
14.04.2011

  • Опубликованный вами запрос недействителен. Он висит / Не могли бы вы починить? 14.04.2011

Ответы:


1

В этом конкретном случае вы можете обмануть, сначала умножив все значения и разделив окончательный результат на этот множитель.

declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)
declare @m numeric(28,8)

set @var = -413.72063274
set @a   = 651.00000000
set @b   = 1000.00000000
set @m   = 10000000


select CAST(((@a*@m) * (@var*@m) / (@b*@m)) AS NUMERIC(28, 8)) / @m 
-- Result: -269.3321319137

Изменить

с другой стороны, следующее сохраняет свою точность без использования множителя

select CAST(@a * @var AS NUMERIC(28, 8)) / @b
-- Result: -269.3321319140
14.04.2011

2

Правила преобразования decimal в decimal для умножения и деления описаны в BOL. .

*Точность и масштаб результата имеют абсолютный максимум 38. Когда точность результата больше 38, соответствующий масштаб уменьшается, чтобы предотвратить усечение целой части результата.

но не указывает, как именно выполняется такое усечение. Это задокументировано здесь. Однако иногда проще просто использовать метод проб и ошибок!

Следующие промежуточные приведения дают желаемый результат. Можно ли жить с такими?

DECLARE @var NUMERIC(19,8)
DECLARE @a NUMERIC(19,8)
DECLARE @b NUMERIC(19,8)

SET @var = -413.72063274
SET @a   = 651.00000000
SET @b   = 1000.00000000

DECLARE @v SQL_VARIANT 
SET @v =  CAST(@a/@b AS NUMERIC(24,10))* CAST(@var AS NUMERIC(23,8))

SELECT    CAST(SQL_VARIANT_PROPERTY(@v, 'BaseType') AS VARCHAR(30)) AS BaseType,    
          CAST(SQL_VARIANT_PROPERTY(@v, 'Precision') AS INT) AS PRECISION,    
          CAST(SQL_VARIANT_PROPERTY(@v, 'Scale') AS INT) AS Scale
14.04.2011

3

Вы начинаете с деления, а затем умножаете. Потеря точности в делении. Это округляется до 8 dp, и результат умножается на 3-значное (413) значение (отсюда и пропущенные последние две цифры).

Решением было бы использовать большую точность для промежуточных результатов или сначала выполнить умножение.

(@a * @var) / @b математически соответствует вашему расчету, но может дать более точные результаты.

14.04.2011
  • Деление на самом деле дает 10dp. Это последующее умножение вызывает усечение. 14.04.2011
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..