Tag: awk

Ошибка AWK для большого файла

У меня есть .csv файл объемом 6,5 ГБ. Мне нужно отсортировать файлы с 1-го, 2-го, 3-го, 4-го, 5-го и 13-го столбцов и получить уникальные записи. Также мне нужно получить дубликаты записей и перенаправить их в другой файл. Я использую следующую команду для получения уникальных строк: awk -F',' 'a[$1,$2,$3,$4,$5,$13]++' /var/tmp/Data.txt > unique.txt Но вышеупомянутый процесс потребляет […]

У меня возникла техническая проблема с awk-кодом

Это связано с одним из моих предыдущих вопросов: сравнение текстовых файлов с использованием Bash и AWK file1.txt Name Col1 Col2 Col3 ———————– row1 1 4 7 row2 2 5 8 row3 3 6 9 file2.txt Name Col1 Col2 Col3 ———————– row1 1 4 7 row2 2 5 999 Я несколько вычислил способ сравнить два файла. […]

Как получить строку X из строки file1 и Y из файла2 с помощью команды оболочки?

В файле 1, «Восстановление сервера завершено. Он будет работать в течение нескольких секунд. Сохраните весь файл журнала после завершения восстановления. ' В файле 2, «Восстановление было успешно завершено из-за несоответствия файла .SA. Сохраните файл журнала для получения дальнейшей справки. Теперь я хочу получить как полные строки из моего файла 1, так и файла 2. Как […]

Как обнаружить и удалить символ новой строки в столбце в файле csv?

У меня есть большой (2 миллиона строк) csv файл, экспортированный из SQL Server данных SQL Server . У меня нет доступа к базе данных, и в столбце есть символ новой строки, что затрудняет обработку в R Пример данных: playerID,yearID,gameNum,gameID,teamID,lgID,GP,startingPos gomezle01,1933,0,ALS193307060,NYA,AL,1,1 ferreri01,1933,0,ALS193307060,BOS,AL,1,2 gehrilo01,1933,0 ,ALS193307060,NYA,AL,1,3 gehrich01,1933,0,ALS193307060,DET,AL,1,4 dykesji01,1933,0,ALS193307060,CHA,AL,1,5 cronijo01,1933,0,ALS193307060 ,WS1,AL,1,6 chapmbe01,1933,0,ALS193307060,NYA,AL,1,7 simmoal01,1933,0,ALS193307060,CHA,AL,1,8 ruthba01,1933,0,ALS193307060,NYA,AL,1,9 В приведенных выше примерах некоторые […]

Как использовать awk для чтения данных между всеми частыми временными интервалами

У меня есть файл журнала в следующем формате [30/Jan/2015:10:10:30 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 425 [30/Jan/2015:10:11:00 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 261 [30/Jan/2015:10:11:29 +0000] 12.30.30.204 xff=- reqId=[-] status_check len=- GET /api/getstatus HTTP/1.1 mi=- ec=- 200 232 [30/Jan/2015:10:12:00 +0000] 12.30.30.204 xff=- reqId=[-] […]

AWK, SED или GREP для извлечения данных из файла HTML

Может ли кто-нибудь сказать мне, что лучше всего использовать для извлечения следующих данных из html-файла, который был получен с помощью curl. <script>document.getElementById("test-summary").innerHTML = "<strong>Test Pages:</strong> 1 right, 0 wrong, 0 ignored, 0 exceptions&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Мне понадобится только часть, где 1 right, 0 wrong, 0 ignored, 0 exceptions . на основе следующего тега: document.getElementById("test-summary") . Это некоторые […]

Помощь с функцией AWK

У меня проблемы с командой AWK. Когда я использовал этот код: $ awk '{a[NR]=$1} END {for (i=0;i<NR;i++) {B=a[i+1];A=a[i];C=(BA);D=int(C/16)} {for (j=0;j<=D;j++) {if(C!=16) {print t=A;A=A+16;B} else {print A}} }}' 19.txt Мой входной файл «19.txt»: 1510 1526 1542 1558 1614 1630 1646 1702 1802 Я понял это: 1702 1718 1734 1750 1766 1782 1798 Мой код использует только […]

Awk one-liner для печати столбца таблицы SQL?

Предположим, что у меня есть таблица вроде: This is first line name minimum maximum config_value ———————————– ———– ———– ———— some text goes here for sample 0 1 0 Output Ends Вывод должен быть как столбец 2: minimum ———– 0 Какова будет команда awk для генерации вывода следующим образом?

Как удалить определенное количество строк каждый раз, когда определенная строка найдена в файле

Я хочу удалить 1 предыдущую строку и 10 следующих строк каждый раз, когда строка была найдена в файле. foo.txt : } Name: john Line 3 Line 4 Line 5 Line 6 Line 7 Line 8 Line 9 Line 10 Line 11 Line 12 Apple orange grape pine } Name: Ruben Line Line Line Line Line […]

Лучший способ повторить следующую команду awk

У меня есть следующий оператор awk awk '/^string$/{i=1;next} i && i++ <= 2' file Это приведет к поиску строки, а затем распечатает две строки вниз. Так, например, $ cat file string aaa bbb ccc $ awk '/^string$/{i=1;next} i && i++ <= 2' file $ bbb То, что я хочу сделать, это изменить 2 в счетчик, […]

Linux и Unix - лучшая ОС в мире.