Удалить дубликаты записей в текстовом файле

Я создал txt-файл, используя два запроса: один LDAP и один SQL. Результаты двух запросов хранятся в одном файле txt.

Файл txt выглядит так:

user1@domain.fr user2@domain.fr user3@domain.fr user1@domain.fr user4@domain.fr 

Поскольку пользователь может находиться в двух базах данных, мне нужно удалить повторяющиеся записи, используя bash.
Как мне это сделать?

One Solution collect form web for “Удалить дубликаты записей в текстовом файле”

Если вы не возражаете, чтобы ваш файл заканчивался сортировкой, сортировка и фильтрация; или

 sort -u file 

если ваш sort поддерживает его, или

 sort file | uniq 

если нет, и вы получите стандартный вывод отсортированного списка уникальных адресов электронной почты.

Если вы хотите сохранить адреса в исходном порядке, используйте awk :

 awk '!(count[$0]++)' file 
  • Определите максимальную длину столбца для каждого столбца в упрощенном csv-файле (по одной строке в строке)
  • Сравните 1-й столбец 1-го файла и 2-й столбец второго файла и получите результат следующим образом
  • printf в сценарии оболочки can not do \ x% x
  • Как найти и переместить текстовую строку внутри файла?
  • Разделите элементы столбца на столбец с одним элементом
  • Сохранение первого экземпляра дубликатов
  • перенаправить вывод команды awk gsub в файл
  • Пример нескольких строк из распечатки strace
  • Как записывать данные по одному из файлов tmp в конечный выходной файл, используя для цикла?
  • Проблема извлечения данных на основе слов верхнего регистра
  • Команды вырезания и вставки
  • Interesting Posts

    Чтобы иметь просмотрщик клавиатуры в Debian?

    Как скрыть сообщения о статусе пользователя в XChat?

    / etc / network / interfaces автоматически запускает pppoe на беспроводном LAN (wlan0) при загрузке, а также делает его постоянным

    Зачем . / home / Desktop неправильный и ./Desktop правильно?

    Установка пропускной способности канала в Linux

    Почему rsyslogd не соблюдает следующие строки в rsyslog.d

    Настройка PPTP VPN-соединения без GUI

    Файл с zipped с помощью 7za нельзя распаковать с помощью утилиты zip

    Solaris использует генератор последовательности в начале каждой новой строки

    Как запросить ввод от пользователя из переменной или массива bash?

    как заменить значение на это значение + константа

    Как подключить veth-устройство внутри «анонимного» пространства имен в сети к внешнему?

    Настройка просвещенного звукового демона

    Установите Debian вместе с Ubuntu без доступа к настройкам BIOS или возможностью загрузки съемных носителей

    Выведите отрицательные значения, независимо от оригинала, на выбранных линиях

    Linux и Unix - лучшая ОС в мире.