Arhn - архитектура программирования

Извлечь поля из даты

У меня есть фрейм данных с полем даты в формате "MM/dd/yyyy" в виде строки, и я хочу извлечь в новых полях значение дня недели в Scala. Например, у меня есть кадр данных df:

df.show()

------------
date
-----------
12/14/2017
12/13/2017

Я хочу получить следующий вывод:

--------------------------------------------
date      | day  | month | year | DayOfWeek
--------------------------------------------
12/14/2017| 14   | 12    | 2017 | Thursday
12/13/2017| 13   | 12    | 2017 | Wednesday

В настоящее время у меня есть этот код:

df.withColumn("day", dayofmonth(to_date(df("date"),"MM/dd/yyyy")))
  .withColumn("month", month(to_date(df("date"),"MM/dd/yyyy")))
  .withColumn("year", year(to_date(df("date"),"MM/dd/yyyy")))
  .withColumn("dayofweek", something(to_date...)

Я не нашел функцию для извлечения дня недели - как мне это сделать?

Еще вопрос, использование функций dayofmonth, month, year лучший вариант по производительности или есть способ лучше?


Ответы:


1

Вы можете использовать date_format и указать формат как "EEEE", чтобы получить день недели. Это даст вам полное имя, просто используйте "E", если вы хотите его сократить, т.е. Пн вместо Понедельник.

df.withColumn("dayofweek", date_format(to_date($"date", "MM/dd/yyyy"), "EEEE"))

С точки зрения производительности, я не думаю, что вам нужно беспокоиться. Все функции, которые вы используете, включая приведенную выше, быстрые и не очень сложные. С другой точки зрения, если бы другой способ был быстрее, то эти функции, скорее всего, использовали бы его.

14.12.2017
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..