Удалить дубликаты записей в текстовом файле

Я создал txt-файл, используя два запроса: один LDAP и один SQL. Результаты двух запросов хранятся в одном файле txt.

Файл txt выглядит так:

user1@domain.fr user2@domain.fr user3@domain.fr user1@domain.fr user4@domain.fr 

Поскольку пользователь может находиться в двух базах данных, мне нужно удалить повторяющиеся записи, используя bash.
Как мне это сделать?

One Solution collect form web for “Удалить дубликаты записей в текстовом файле”

Если вы не возражаете, чтобы ваш файл заканчивался сортировкой, сортировка и фильтрация; или

 sort -u file 

если ваш sort поддерживает его, или

 sort file | uniq 

если нет, и вы получите стандартный вывод отсортированного списка уникальных адресов электронной почты.

Если вы хотите сохранить адреса в исходном порядке, используйте awk :

 awk '!(count[$0]++)' file 
  • Серия чисел в определенном месте по нескольким линиям
  • неточный текстовый поиск
  • Использование awk для печати столбцов, содержащих несколько шаблонов
  • Заменить \ n пустым в файле
  • Создайте .txt-файл с определенным контентом из недействительного файла .json 3GB.
  • Объединение CSV с несколькими разделяемыми столбцами
  • Сценарий для разбора полей
  • обновить json-файл
  • Как оценить специальные символы, чтобы увидеть их в текстовом редакторе?
  • Как объединить три файла (и пропустить первую строку одного файла) отправить его в качестве вкладов в мою программу?
  • удалить определенные символы из переменной с помощью bash
  • Linux и Unix - лучшая ОС в мире.