dask dataframe как преобразовать столбец в to_datetime

Используйте 1_

Вы можете использовать метод astype для преобразования dtype серии в dtype NumPy

df.time.astype('M8[us]')

Вероятно, есть способ указать dtype стиля Pandas (редактирование приветствуется)

Используйте map_partitions и meta

При использовании методов черного ящика, таких как map_partitions, dask.dataframe должен знать тип и имена вывода. Есть несколько способов сделать это, перечисленных в строке документации для map_partitions.

Вы можете предоставить пустой объект Pandas с правильным dtype и именем

meta = pd.Series([], name='time', dtype=pd.Timestamp)

Или вы можете предоставить кортеж (name, dtype) для Series или dict для DataFrame

meta = ('time', pd.Timestamp)

Тогда все должно быть хорошо

df.time.map_partitions(pd.to_datetime, meta=meta)

Если бы вы вместо этого вызывали map_partitions на df, вам нужно было бы предоставить dtypes для всего. Однако в вашем примере это не так.

Dask также поставляется с to_timedelta, так что это тоже должно работать.

df['time']=dd.to_datetime(df.time,unit='ns')

Единица значений такая же, как у pd.to_timedelta в пандах. Его можно найти здесь.

Я не уверен, что это правильный подход, но отображение столбца у меня сработало:

df['time'] = df['time'].map(lambda x: pd.to_datetime(x, errors='coerce'))

Это сработало для меня

ddf["Date"] = ddf["Date"].map_partitions(pd.to_datetime,format='%d/%m/%Y',meta = ('datetime64[ns]'))

Если дата и время находятся в формате, отличном от ISO, то map_partition дает лучшие результаты:

import dask
import pandas as pd
from dask.distributed import Client
client = Client()

ddf = dask.datasets.timeseries()
ddf = ddf.assign(datetime=ddf.index.astype(object))
ddf = (ddf.assign(datetime_nonISO = ddf['datetime'].astype(str).str.split(' ')
                                 .apply(lambda x: x[1]+' '+x[0], meta=('object'))) 

%%timeit
ddf.datetime = ddf.datetime.astype('M8[s]')
ddf.compute()

11,3 с ± 719 мс на цикл (среднее ± стандартное отклонение из 7 прогонов, по 1 циклу в каждом)

ddf = dask.datasets.timeseries()
ddf = ddf.assign(datetime=ddf.index.astype(object))
ddf = (ddf.assign(datetime_nonISO = ddf['datetime'].astype(str).str.split(' ')
                                 .apply(lambda x: x[1]+' '+x[0], meta=('object'))) 


%%timeit
ddf.datetime_nonISO = (ddf.datetime_nonISO.map_partitions(pd.to_datetime
                       ,  format='%H:%M:%S %Y-%m-%d', meta=('datetime64[s]')))
ddf.compute()

8,78 с ± 599 мс на цикл (среднее ± стандартное отклонение из 7 прогонов, по 1 циклу)

ddf = dask.datasets.timeseries()
ddf = ddf.assign(datetime=ddf.index.astype(object))
ddf = (ddf.assign(datetime_nonISO = ddf['datetime'].astype(str).str.split(' ')
                                 .apply(lambda x: x[1]+' '+x[0], meta=('object'))) 

%%timeit
ddf.datetime_nonISO = ddf.datetime_nonISO.astype('M8[s]')
ddf.compute()

1 мин 8 с ± 3,65 с на цикл (среднее ± стандартное отклонение из 7 прогонов, по 1 петле в каждом)