Arhn - архитектура программирования

Слияние файлов CSV в нескольких подкаталогах с помощью Cygwin

Я новичок в Cygwin, и мне действительно может понадобиться помощь. У меня есть корневой каталог с несколькими подкаталогами (все подкаталоги находятся на одном уровне, то есть нет подкаталогов и т. д.). Каждый подкаталог содержит несколько файлов CSV (тот же формат, без заголовков). Я хотел бы объединить CSV-файлы в каждом подкаталоге в один большой CSV-файл для каждого подкаталога. То есть один CSV на подкаталог, содержащий содержимое всех CSV в этом отдельном подкаталоге.

Я думаю, что могу использовать простую команду cat *.csv > largefile.csv, но я не уверен, как просканировать все подкаталоги и применить этот код к каждому из них. Основываясь на учебниках, которые я проработал, я считаю, что это должно работать:

for dir in `find . -type d`
do cat *.csv > largefile.csv
done

Это лучший подход? Это кажется слишком простым.

Кроме того, есть ли способ сохранить эти команды в файле, который я мог бы выполнять всякий раз, когда мне нужно выполнить эту задачу?

Заранее спасибо за помощь новичку!

csv cygwin
16.02.2015

Ответы:


1

Я бы сделал это, создав этот файл:

cat_all_csv_dir.sh:

#!/bin/bash
for dir in *; do
    # continue if it is not a directory or if it does not contain any csv
    if [ ! -d "$dir" ] || [ -z "$(ls "$dir"/*.csv 2>/dev/null)" ]; then
        continue;
    fi
    cat "$dir"/*.csv > "$dir".csv
    echo $dir
done

Вы должны создать его в папке, которая присутствует в переменной окружения PATH. Его значение можно было бы распечатать, введя команду echo $PATH. Таким образом, cat_all_csv_dir.sh можно было запускать из любого каталога.

16.02.2015
  • Спасибо за ответ! Я получаю следующую ошибку при вызове скрипта из каталога, содержащего мои файлы CSV: $ cat_all_csv_dir.sh /usr/local/bin/cat_all_csv_dir.sh: line 2: syntax error near unexpected token $'do\r'' 'usr/local/bin/cat_all_csv_dir.sh: строка 2: for dir in *;do Что я делаю неправильно? 17.02.2015
  • \r присутствует в сообщении об ошибке. Это означает, что вы создали файл с окончаниями строк Windows. Вы должны преобразовать его в окончания строк unix. Это можно сделать, например, с помощью Notepad++. (Меню Правка -> Преобразование EOL -> Формат UNIX/OSX) 17.02.2015
  • Я очень ценю ваш ответ, но я не могу заставить это работать. Я изменил EOL на формат UNIX и снова запустил сценарий из каталога, содержащего файлы CSV. Кажется, ничего не происходит. Ошибок нет, но и новый файл не создается. Cygwin, кажется, задумывается на мгновение или два, а затем дает мне подсказку ($) в новой строке. Я могу подтвердить, что файл .sh сохранен в каталоге, указанном в $PATH. Есть идеи, что я могу делать неправильно? 19.02.2015
  • Ты прав. Я отредактировал ответ. ls "$dir"/*.csv следует писать вместо ls *.csv. 19.02.2015
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..