Tag: csv

Измените все, кроме первого «,» на «» для каждой строки в файле (bash)

Я использую bash и у меня есть файл csv (dat.csv), который должен содержать только два столбца (App, Blurb) данных, но из-за большого количества символов ‘,’ в каждой строке он становится МНОГО столбцов. ПРИМЕР ПРОБЛЕМЫ csv.dat: App , Blurb diff, this is the diff program, bla bla bla, yadda yadda word, this is ms product, it […]

Как напечатать количество рисунков в каждой строке?

Мне нужно напечатать счетчик соответствующей строки в конце каждой строки. Пример для соответствия foo : foo,bar,foo,foo bar,foo,bar,bar foo,foo,bar,bar Результат: foo,bar,foo,foo,3 bar,foo,bar,bar,1 foo,foo,bar,bar,2 Я проверил эту ссылку ( Как посчитать количество конкретного символа в каждой строке? ), Но не повезло.

Grep регулярное выражение для отображения только серийных номеров (определенной длины, содержащих альфа и цифру) в файле CSV

У меня много (огромных и хаотичных) CSV-файлов с кучей (Cisco) серийных номеров. Моя цель состоит в том, чтобы извлечь их (кстати: и позднее позвонить в Cisco API для получения отзыва о покрытии услуг / поддержки) Теперь я ищу правильный способ обработки этого файла CSV. Мне интересно, есть ли другие, а также почему мой первоначальный «предпочтительный» […]

Перемещение файлов в отдельные каталоги на основе группировки, определенной в файле CSV

СВЯЗАННЫЕ: Переместить все файлы с соответствующими префиксами в папку на основе списка CSV У меня есть файл CSV с двумя столбцами (значения, разделенные запятыми), с заголовками: “id”,”group” “F1256″,”old” “E51651″,”new” “X56369″,”new” “G5481369″,”old” “54564564T”,”old” “544-5F5″,”new” “1298FFF”,”old” “JKL-wew_w”,”new” И у меня есть эти файлы в одном каталоге: 2014-12-15_T921_F1256.png E51651_hf_2018-9-19.jpg hf_oldX56369_15-10-2014.xml 2018-07_xx54564564T_hfdata.bmp G5481369oldbackup_2018-01-01.txt Я хочу использовать grep (или любой […]

bash: назначить переменную и вывести на стандартный вывод в той же команде

Я работаю над сценарием bash, который читает CSV-файл с полями и значениями полей и создает строку json из входных данных. Для простоты у меня есть скрипт bash, который принимает два аргумента, имитирующих скрипт выше. #!/bin/bash fieldValue1=$1 fieldValue2=$2 jsonString='{“field1″:”‘$fieldValue1′”, “field2″:”‘$fieldValue2′”}’ echo $jsonString Когда я вызываю вышеуказанный скрипт с двумя аргументами, я правильно получаю вывод ниже: ./test.sh […]

удалить n столбцов из файла CSV

У меня есть CSV-файл с данными, как показано ниже: 12,1234,28-07-2018 05:28:12.21,ABC60,3456,28-07-2018 05:28:12.21,AB60,7580,28-07-2018 06:28:12.21,PQ Мне нужно удалить все столбцы даты из файла через Unix.

Слияние большого набора данных самым быстрым способом

У меня большой набор данных ~ 100 ГБ с меньшими файлами csv ~ 100 000. Я хочу объединить все CSV-файлы вместе самым быстрым способом. Файлы находятся в двух разных папках. Кто-то предложил мне создать два файла с именами файлов из обеих папок и с использованием имени файла, итерации в каталоге для добавления выходных файлов вместо […]

Быстрый способ удалить строку из чрезвычайно большого файла

У меня есть 67GB CSV-файл (я знаю … я знаю …) Мне нужно удалить 4 125878 строк из файла, поскольку он поврежден. Мои инструменты синтаксического анализа CSV не будут игнорировать или пропускать его. Я мог бы использовать sed чтобы сделать что-то вроде sed '4125878d' in.csv > out.csv Но это было бы очень дорогостоящей операцией с […]

Как удалить все \ r \ n из файла, но сохраните \ n

У меня есть CSV с окончанием строки unix, но в некоторых строковых значениях есть строки строк строк: date,notes\n 2014-01-01,"Blah Blah Blah"\n 2014-01-02,"Two things:\r\n – first thing\r\n – second thing\n 2014-01-03,"Foo"\n Обратите внимание, что \ n и \ r просто показывают, где в файле находятся непечатаемые символы, это не так, как бы выглядел, если бы вы […]

объединить два файла csv на основе условия

У меня два файла csv позволяют говорить, что A.csv и B.csv A.csv содержат (размер файла более 5 гб) 64.234 20.342 786 63.231 20.124 765 63.652 20.857 387 B.csv содержит (размер файла более 5 гб) 63.231 20.124 234 63.652 20.857 383 64.234 20.342 876 Мне нужен финальный файл 64.234 20.342 786 876 63.231 20.124 765 234 […]

Interesting Posts
Linux и Unix - лучшая ОС в мире.