документация по блокам данных описывает, как сделать слияние для дельта-таблиц.
В SQL синтаксис
MERGE INTO [db_name.]target_table [AS target_alias]
USING [db_name.]source_table [<time_travel_version>] [AS source_alias]
ON <merge_condition>
[ WHEN MATCHED [ AND <condition> ] THEN <matched_action> ]
[ WHEN MATCHED [ AND <condition> ] THEN <matched_action> ]
[ WHEN NOT MATCHED [ AND <condition> ] THEN <not_matched_action> ]
может быть использован. Доступен ли эквивалент Python?
Мне удалось найти документацию с помощью Александроса Биратсиса. Документацию можно найти здесь . Пример такого слияния дается
deltaTable.alias("events").merge(
source = updatesDF.alias("updates"),
condition = "events.eventId = updates.eventId"
).whenMatchedUpdate(set =
{
"data": "updates.data",
"count": "events.count + 1"
}
).whenNotMatchedInsert(values =
{
"date": "updates.date",
"eventId": "updates.eventId",
"data": "updates.data",
"count": "1"
}
).execute()
