удалите все дубликаты из текстового файла без сортировки

просто поставьте, у меня есть файл со строками текста, которые мне неизвестны, что-то вроде

abaa dddd bbbb cccc abaa aaaa abaa 

результат, который я хотел бы получить, – это

 dddd bbbb cccc aaaa 

где все дубликаты полностью удалены. если одна строка текста дублируется в другом месте, удалите эту строку и последующие повторения. Возможно ли это сделать? все мои поиски показывают вывод с удалением дубликатов, оставляя один экземпляр, который я бы хотел удалить.

One Solution collect form web for “удалите все дубликаты из текстового файла без сортировки”

этот подход занимает 2 прохода через файл: один для подсчета количества раз, когда каждая строка возникает, одна для печати строк, которые появляются только один раз:

 awk 'NR == FNR {count[$0]++; next}; count[$0] == 1' file file 
  • Сравните два файла и сопоставленную строку для отправки в новый файл
  • Поиск строк, которые находятся в одном файле, но не в других, используя Unix и Awk
  • используя скрипт bash для сортировки текста в файле
  • Сравните два файла и верните значение true или false
  • Распечатайте все данные, относящиеся к определенному полю
  • Подсчитайте максимальную длину символа для всех полей данных в упрощенном файле csv и выведите на txt
  • Найти 10 "main ()" в первых 10 строках в обычных файлах
  • Репликация столбца в однострочном файле CSV
  • Возьмите n-й столбец файла и введите их в сценарий оболочки
  • Единая команда, берущая две строки для извлечения строки между ними, например, 'tr' (без выражений)
  • Как повторить блок текста?
  • как рассчитать среднее значение столбца с идентификатором строки?
  • Linux и Unix - лучшая ОС в мире.