Tag: awk

Ошибка AWK для большого файла

У меня есть .csv файл объемом 6,5 ГБ. Мне нужно отсортировать файлы с 1-го, 2-го, 3-го, 4-го, 5-го и 13-го столбцов и получить уникальные записи. Также мне нужно получить дубликаты записей и перенаправить их в другой файл. Я использую следующую команду для получения уникальных строк: awk -F',' 'a[$1,$2,$3,$4,$5,$13]++' /var/tmp/Data.txt > unique.txt Но вышеупомянутый процесс потребляет […]

У меня возникла техническая проблема с awk-кодом

Это связано с одним из моих предыдущих вопросов: сравнение текстовых файлов с использованием Bash и AWK file1.txt Name Col1 Col2 Col3 ———————– row1 1 4 7 row2 2 5 8 row3 3 6 9 file2.txt Name Col1 Col2 Col3 ———————– row1 1 4 7 row2 2 5 999 Я несколько вычислил способ сравнить два файла. […]

Как получить строку X из строки file1 и Y из файла2 с помощью команды оболочки?

В файле 1, «Восстановление сервера завершено. Он будет работать в течение нескольких секунд. Сохраните весь файл журнала после завершения восстановления. ' В файле 2, «Восстановление было успешно завершено из-за несоответствия файла .SA. Сохраните файл журнала для получения дальнейшей справки. Теперь я хочу получить как полные строки из моего файла 1, так и файла 2. Как […]

Как обнаружить и удалить символ новой строки в столбце в файле csv?

У меня есть большой (2 миллиона строк) csv файл, экспортированный из SQL Server данных SQL Server . У меня нет доступа к базе данных, и в столбце есть символ новой строки, что затрудняет обработку в R Пример данных: playerID,yearID,gameNum,gameID,teamID,lgID,GP,startingPos gomezle01,1933,0,ALS193307060,NYA,AL,1,1 ferreri01,1933,0,ALS193307060,BOS,AL,1,2 gehrilo01,1933,0 ,ALS193307060,NYA,AL,1,3 gehrich01,1933,0,ALS193307060,DET,AL,1,4 dykesji01,1933,0,ALS193307060,CHA,AL,1,5 cronijo01,1933,0,ALS193307060 ,WS1,AL,1,6 chapmbe01,1933,0,ALS193307060,NYA,AL,1,7 simmoal01,1933,0,ALS193307060,CHA,AL,1,8 ruthba01,1933,0,ALS193307060,NYA,AL,1,9 В приведенных выше примерах некоторые […]

Как использовать awk для чтения данных между всеми частыми временными интервалами

У меня есть файл журнала в следующем формате [30/Jan/2015:10:10:30 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 425 [30/Jan/2015:10:11:00 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 261 [30/Jan/2015:10:11:29 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 232 [30/Jan/2015:10:12:00 +0000] 12.30.30.204 xff=- reqId=[-] […]

AWK, SED или GREP для извлечения данных из файла HTML

Может ли кто-нибудь сказать мне, что лучше всего использовать для извлечения следующих данных из html-файла, который был получен с помощью curl. <script>document.getElementById("test-summary").innerHTML = "<strong>Test Pages:</strong> 1 right, 0 wrong, 0 ignored, 0 exceptions&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Мне понадобится только часть, где 1 right, 0 wrong, 0 ignored, 0 exceptions . на основе следующего тега: document.getElementById("test-summary") . Это некоторые […]

Помощь с функцией AWK

У меня проблемы с командой AWK. Когда я использовал этот код: $ awk '{a[NR]=$1} END {for (i=0;i<NR;i++) {B=a[i+1];A=a[i];C=(BA);D=int(C/16)} {for (j=0;j<=D;j++) {if(C!=16) {print t=A;A=A+16;B} else {print A}} }}' 19.txt Мой входной файл «19.txt»: 1510 1526 1542 1558 1614 1630 1646 1702 1802 Я понял это: 1702 1718 1734 1750 1766 1782 1798 Мой код использует только […]

Awk one-liner для печати столбца таблицы SQL?

Предположим, что у меня есть таблица вроде: This is first line name minimum maximum config_value ———————————– ———– ———– ———— some text goes here for sample 0 1 0 Output Ends Вывод должен быть как столбец 2: minimum ———– 0 Какова будет команда awk для генерации вывода следующим образом?

Как удалить определенное количество строк каждый раз, когда определенная строка найдена в файле

Я хочу удалить 1 предыдущую строку и 10 следующих строк каждый раз, когда строка была найдена в файле. foo.txt : } Name: john Line 3 Line 4 Line 5 Line 6 Line 7 Line 8 Line 9 Line 10 Line 11 Line 12 Apple orange grape pine } Name: Ruben Line Line Line Line Line […]

Лучший способ повторить следующую команду awk

У меня есть следующий оператор awk awk '/^string$/{i=1;next} i && i++ <= 2' file Это приведет к поиску строки, а затем распечатает две строки вниз. Так, например, $ cat file string aaa bbb ccc $ awk '/^string$/{i=1;next} i && i++ <= 2' file $ bbb То, что я хочу сделать, это изменить 2 в счетчик, […]

Interesting Posts

Двойная загрузка Ubuntu с окнами 8

Не удается увидеть USB-устройства на гостевой Windows

Выключение ПК после приостановления процесса терминала (apt-get upgrade)

Требует ли SDL любого звукового сервера, такого как PulseAudio, для воспроизведения звука?

Как изменить раскладку клавиатуры для конкретного виртуального терминала?

Как ограничить среднюю нагрузку

Как написать цикл for, который выполняет асинхронную команду на каждой итерации?

На каком диске находится файл, расположенный в массиве / файловой системе RAID-1 btrfs?

OpenVPN не работает, потому что шлюз не установлен

Tcl regexp: Как проверить, содержит ли переменная число?

Как обмануть скрипт init в ответ 0

клонирование раздела в раздел разного формата

Когда я использую левый оконный ключ + e в консоли, он печатает 'se'

Как обеспечить, чтобы строка, интерполированная в подстановку sed, избегала всех метамарков

Огромный отвод батареи во время приостановки до выключения – 12% / час – карта nvidia не отключается

Linux и Unix - лучшая ОС в мире.