Arhn - архитектура программирования

размер фрагмента для измерения времени не работает с xr.open_mfdataset

Используя xr.open_mfdataset, я хочу разделить измерение времени; однако размер фрагмента для «времени» остается равным 1, несмотря на то, что он установлен равным 12. Однако фрагментация для «длины» и «широты» работает. Как я могу разделить измерение «время»? Спасибо- ПГ

VARS_USED = ["LANDFRAC", "PSL", "PRECC", "PRECL", "TREFHT", "ICEFRAC", "PRECSL_H218OS", "PRECSC_H218Os", "PRECRL_H218OR", "PRECRC_H218Or", "PRECSL_H2OS", "PRECSC_H2Os", "PRECRL_H2OR", "PRECRC_H2Or"]

WSOL_DATA_PATH = '/glade/p/ncgd0030/Steig/90_WSOL/b.ie12.BG1850C5CN.f19_g16.90_WSOL.001_daily.cam.h0.000[2-4]-??_avg_fc.nc'

WSOL_DATA = xr.open_mfdataset(WSOL_DATA_PATH, decode_cf=False, chunks={'time':12, 'lon':72,'lat':48})[VARS_USED]

ВЫХОД:

<xarray.Dataset>
Dimensions:        (lat: 96, lon: 144, time: 36)
Coordinates:
* lon            (lon) float64 0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0   ...
* time           (time) float64 380.0 409.5 439.0 469.5 500.0 530.5 561.0 ...
* lat            (lat) float64 -90.0 -88.11 -86.21 -84.32 -82.42 -80.53 ...
Data variables:
LANDFRAC       (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PSL            (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECC          (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECL          (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
TREFHT         (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
ICEFRAC        (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECSL_H218OS  (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECSC_H218Os  (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECRL_H218OR  (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECRC_H218Or  (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECSL_H2OS    (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECSC_H2Os    (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECRL_H2OR    (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
PRECRC_H2Or    (time, lat, lon) float32 dask.array<shape=(36, 96, 144), chunksize=(1, 48, 72)>
Attributes:
Conventions:               CF-1.0
source:                    CAM
dask python-xarray
06.07.2018

  • У вас есть одна временная точка для каждого входного файла? 06.07.2018

Ответы:


1

chunks в open_mfdataset в настоящее время только фрагменты внутри каждого входного файла. Если каждый файл содержит только одну временную точку, то установка большего размера фрагмента не будет иметь никакого эффекта.

Если вам нужны более крупные фрагменты по временному измерению, вам нужно впоследствии добавить отдельный вызов .chunk(). Например.

WSOL_DATA = WSOL_DATA.chunk({'time': 12})
06.07.2018
  • Спасибо, что указали мне на rechunk. Не могли бы вы рассказать, как потом добавить вызов .rechunk()? Я пробовал итерации WSOL_DATA.rechunk(), но WSOL_DATA является набором данных и не имеет атрибута «rechunk». Я также попытался повторно разбить переменную данных, WSOL_DATA.data_vars['PSL'].rechunk(), но это не работает, потому что DataArray не имеет атрибута "rechunk". 09.07.2018
  • Упс, исправлено. На самом деле метод называется chunk 10.07.2018
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..