Articles of uniq

bash уникальный идентификатор строки

Ввод: файл с отсортированными строками Вывод: файл с (первым или любым) уникальным идентификатором строки из входного файла пример вход abbylove abbylove abbylove abbylover abbylover abbylovesyou abbylovesyou abbylsmith abbylsmith abbylyn abbylynn Выход 1 4 6 8 10 11 0 индексируется также ОК. Как создать такой вывод? Я не нахожу такой опции в командах shell uniq и […]

Что `-dD` означает для` uniq`?

С https://unix.stackexchange.com/a/277707/674 find . ! -empty -type f -exec md5sum {} + | sort | uniq -w32 -dD можно найти дубликаты файлов в текущем каталоге. Что -dD означает для uniq ? Я видел значения -d и -D на man-странице, но не уверен, что они имеют в виду, когда используются вместе. Благодарю.

печатать строки с уникальными указанными полями

Как печатать строки, используя уникальные поля 2 , 3 и 4 ? поля с номерами 2 и 3 являются числами, а поле три – с алфавитом, всего 2500 строк в файле. Входные данные : 10,11,12,A,3 10,11,12,A,4 10,11,12,B,3 ВЫХОД: 10,11,12,B,3

команды сортировки и uniq не работают, как ожидалось, когда выполняются cron

Ниже приведена часть скрипта, который дает правильный вывод при запуске вручную, но дает неправильный вывод при запуске с использованием cron: sort < file1.out | uniq -ic |sort -nr> file2.out При запуске в командной строке это дает счет, где строки сгруппированы, игнорируя регистр, например: 73 /universal/webselfservice/pdf/r60.pdf При прохождении через cron подсчеты разбиваются при изменении случая, например: […]

Учет уникальных пользователей в файле wtmp

Я изо всех сил пытаюсь подсчитать уникальных пользователей в файле wtmp. Вот что я имею до сих пор: uniqueUsers=$(last | uniq -c | wc -l) echo "There were '$uniqueUsers' unique users logged on" Любая помощь очень ценится!

Печать дубликатов строк на основе первого столбца

Я хочу получить строки, где первые дубликаты столбцов (я использовал число 32, потому что первый столбец всегда 32 символа). До сих пор я понял: sort | uniq -d -w 32 filename Проблема в том, что я хочу обе строки, а не только одну. Например, из: 283158c7da8c0ada74502794fa8745eb ubuntu-6.10-alternate-amd64.iso 5717dd795bfd74edc2e9e81d37394349 ubuntu-6.10-alternate-i386.iso 5717dd795bfd74edc2e9e81d37394349 ubuntu-6.10-alternate-powerpc.iso Результат, который я хочу: […]

linux сравнить текстовый файл

У меня есть file1.txt и file2.txt , оба содержат URL-адреса, я хочу создать новый файл с уникальными URL-адресами, присутствующими в file2.txt а не в file1.txt . Пример файла URL: aspencabinets.com.au iiatca.org energyoil.co.za tevelatino.com handball-schule.com lindaestelle.com latindancegrooves.com ugurlu-ozturk.com robertsdoneright.com pactoconvex.com ghaudit.org keiramontalli.net taksid.ee katanics.hu baggotpureescape.com naechstenliebe.net wiki.mbremer.de boxplandesign.com.sg lhasa.ca roboticengineeringprojects.com killergaming.info nhswga.com culnue.eu fmovers.com corpuschristicarolstream.org promedmedikal.com […]

Подключения к серверу мониторинга – проблема форматирования Netstat

Недавно у меня было несколько проблем с сервером. Поэтому я просто хотел оставить окно с уникальными IP-адресами подключенных устройств. Я использую: watch -n 5 "netstat -tn 2>/dev/null | grep :80 | awk '{print $5}' | sed 's/.*::ffff://' | sort | uniq -c | sort -nr" Вот пример вывода, когда форматирование не работает Ниже приведен пример […]

Управление дублированными строками в файлах

Я генерирую все общие / повторяющиеся строки между 5 файлами в одном каталоге sort *.txt | uniq -d > output.txt Мне нужно, чтобы output.txt был объединен с File1.txt (поэтому добавляется все, что не является дубликатом), однако в другом месте, в файле File2.txt, если появляется повторяющаяся строка, его нужно удалить. Любые указатели? Использование Debian EDIT: Объединение […]

Уникальные линии, основанные на первом поле

Как вы можете найти уникальные строки или повторяющиеся строки в файле на основе содержимого первого поля или первых n символов? Команда uniq на OS X не имеет ключа -w , доступного в Linux: -w, –check-chars=N : compare no more than N characters in lines , что решает проблему. Можно ли это сделать без переопределения uniq […]