Мой RDD all_keys хранит списки значений:
>> all_keys.take(3)
[['a','b','c'],
['a','b'],
['a','d','f']]
Большинство этих значений повторяются, но в некоторых списках есть значения, отсутствующие в других списках.
Как получить список уникальных элементов из всех списков, хранящихся в RDD?
Вам потребуется выполнить flatMap для вашего RDD, чтобы преобразовать его из RDD списков строк в RDD строк. Затем вы можете использовать метод distinct() для возврата только уникальных строк.
Создать данные
all_keys = [['category', 'ser_id', 'appname', 'timestamp', 'label', 'ser_token', 'appver', 'action'],
['category', 'ser_id', 'appname', 'timestamp', 'vale', 'label', 'ser_token', 'appver', 'action', 'type'],
['category', 'ser_id', 'appname', 'timestamp', 'vale', 'label', 'ser_token', 'appver', 'type' ]]
rdd = sc.parallelize(all_keys)
Определите функцию flatMap
def explode(row):
for k in row:
yield k
Плоская карта, получить отдельные элементы, собрать
rdd.flatMap(explode).distinct().collect()
Полученные результаты
['category', 'ser_id', 'type', 'action', 'timestamp', 'ser_token', 'appver', 'vale', 'label', 'appname']
Если вы имеете в виду удалить дубликаты в вашем окончательном списке (в вашем примере нет дубликатов)
list(set(all_keys.take(3)))
Если вы имеете в виду удалить повторяющиеся записи для одного ключа в вашем rdd, например. 'а' использовать
all_keys.distinct(lambda row:row[0])
