Tag: awk

Насколько хорошо работает grep / sed / awk на очень больших файлах?

Мне было интересно, были ли grep, sed и awk жизнеспособными инструментами для поиска данных в очень больших файлах. Допустим, у меня есть 1TB-файл. Если бы мне захотелось обработать текст в этом файле, каков был бы временной интервал, если бы я использовал отдельные команды grep, sed и awk, а также их смешивание. Очевидно, что конкретный ответ […]

Извлечь определенный текст из переменной в сценарии оболочки

У меня есть 2 переменные VAL1="C70AN" VAL2="MBA30" и у меня есть один каталог в моей системе /opt/web/C70/MBA/ Как я могу перейти в этот каталог с помощью переменных например, cd /opt/web/$VAL1/$VAL2 Как я могу извлечь конкретный текст из переменной в сценарии оболочки?

выберите несколько столбцов на основе диапазонов, указанных в отдельном файле

У меня два файла: file1 ST4.03ch10 56000001 56500000 ST4.03ch11 34500001 35000000 ST4.03ch04 54500001 55000000 ST4.03ch12 500001 1000000 file2 ST4.03ch12 56014301 56019800 0,163 гена 5.5 ST4.03ch12 56022401 56025300 0,419 гена 2,9 ST4.03ch12 671201 803500 1 ген 5.5 ST4.03ch12 671201 803500 1 ген 5.3 ST4.03ch12 671201 803500 1 ген 5.0 ST4.03ch12 447401 449500 0.038 гена 8.5 ST4.03ch12 […]

Верните первые несколько столбцов, опустите все после него до разделителя и добавьте остальные?

Вход представляет собой файл (text.txt), содержащий следующие строки текста (все пробелы – пробелы): 2016-10-24 10:25:48.939279-0400 0x63a55 Info 0x0 1416 backupd: (TimeMachine) [com.apple.TimeMachine.TMLogInfo] Found 2735 files (298.6 MB) needing backup 2016-10-24 10:25:48.954707-0400 0x63a55 Info 0x0 1416 backupd: (TimeMachine) [com.apple.TimeMachine.TMLogInfo] 6.08 GB required (including padding), 1.2 TB available 2016-10-24 10:27:56.721350-0400 0x63a55 Info 0x0 1416 backupd: (TimeMachine) [com.apple.TimeMachine.TMLogInfo] […]

многострочный вывод через команду SSH

Мне нужен многострочный вывод по удаленной команде SSH. Если я использую эту команду на локальном компьютере, у меня есть правильный вывод: sudo docker stats –no-stream container1 container2 container3 | awk '{if (NR!=1) {print $1,$9,'$(date +%s)'}}' container1 72.85 1471958776 container2 14.83 1471958776 container3 9.362 1471958776 Если он запущен удаленно, он разделяет строки: ssh -o LogLevel=QUIET -t […]

Как изменить конкретный столбец с помощью sed или awk на основе определенного шаблона

У меня есть файл csv, который выглядит так: c1,c2,c3,http://aaa.com/blblbblb\nhttp://bbb.com/sdsdsds\nhttp://ccc.com\nhttp://foo.com/ghghghgh cc1,cc2,cc3,http://eee.com/blblbblb\nhttp://foo.com/sdsdsds\nhttp://fff.com\nhttp://ttt.com/ghghghgh ccc1,ccc2,ccc3,http://foo.com/blblbblb\nhttp://vvv.com/sdsdsds\nhttp://foo.com/nmnmnmnm\nhttp://qqq.com\nhttp://kkk.com/ghghghgh возможно ли манипулировать выше csv-файлом и экспортировать следующим образом: (используя команды sed или awk или аналогичные команды bash) c1,c2,c3,http://foo.com/ghghghgh cc1,cc2,cc3,http://foo.com/sdsdsds ccc1,ccc2,ccc3,http://foo.com/blblbblb;http://foo.com/nmnmnmnm На самом деле я хочу манипулировать только 4-м столбцом и шаблоном Remain http://foo.com/{some string} (другими словами, извлекать ссылки из 4-го столбца, если они […]

И операция по 2 столбцам (даты доступа и mofidy) в файле в linux

У меня есть большой миллионный файл записей, который состоит из «каталогов, имен файлов, разрешений, группы и владельца, размера, последней доступной даты, последней измененной даты, последней измененной даты». Мне нужно получить строки (файлы), которые имеют последний доступная дата И последняя измененная дата меньше или равна 2012 году. Можете ли вы помочь в предоставлении awk, sed или […]

Найдите строку в файле и переименуйте несколько файлов в результаты

Я пытаюсь рекурсивно искать список файлов, и если файл содержит строку, переименуйте файл в результаты grep указанной строки. Файлы примеров содержат следующее содержимое: file1 foo bar1 file2 foo bar2 file3 foo bar3 file4 foo bar4 file5 foo bar5 grep + awk вернет результаты, которые мне нужны: $ grep -r "^foo" . | awk '{print $2}' […]

Найти больше дубликатов

У меня огромный список, как 67603;4716-5469-1335-0870;5450-7938-7992-5530;14523593;03 Oct 2016 – 17:01:15 63123;5592-6762-4853-6320;4532-4142-5613-9690;1441407;03 Oct 2016 – 17:01:15 62562;4532-5581-3790-0140;5292-4905-4356-2840;28898987;03 Oct 2016 – 17:01:15 68080;5188-1564-9611-7580;4556-9998-5999-3300;2262361;03 Oct 2016 – 17:01:15 i Want Искать больше Dublicate число после 2; и до 3-го; для первой строки – 5450-7938-7992-5530 и еще одна строка 4532-4142-5613-9690 и т. д.

Как использовать AWK для запроса файла, загруженного с помощью mapfile

Я использую awk на Ubuntu для корреляции ссылок между двумя файлами журнала (In.log и Out.log). Он работает так, как ожидалось, но увеличил размер Out.log (~ K строк), увеличение времени обработки также! Поэтому мне было интересно, уменьшить доступ к диску, если я могу загрузить этот файл Out.log в память один раз перед циклом, используя команду MAPFILE […]

Linux и Unix - лучшая ОС в мире.