удалите все дубликаты из текстового файла без сортировки

просто поставьте, у меня есть файл со строками текста, которые мне неизвестны, что-то вроде

abaa dddd bbbb cccc abaa aaaa abaa 

результат, который я хотел бы получить, – это

 dddd bbbb cccc aaaa 

где все дубликаты полностью удалены. если одна строка текста дублируется в другом месте, удалите эту строку и последующие повторения. Возможно ли это сделать? все мои поиски показывают вывод с удалением дубликатов, оставляя один экземпляр, который я бы хотел удалить.

  • Как выбрать строку с последней датой и временем
  • UNIX вставляют столбцы и вставляют нули для всех отсутствующих значений
  • Как использовать Unindented строку в качестве записи отдельно в awk cli
  • Извлечение столбцов из огромного текстового файла с разделителями
  • Grep для поиска шаблона в файле
  • Как извлечь журналы между двумя отметками времени, строка может начинаться с даты и времени
  • Манипулировать некоторые данные с ограниченным разделением в полезный CSV
  • Обработать столбец с текстом, который имеет пробелы как 1 поле
  • One Solution collect form web for “удалите все дубликаты из текстового файла без сортировки”

    этот подход занимает 2 прохода через файл: один для подсчета количества раз, когда каждая строка возникает, одна для печати строк, которые появляются только один раз:

     awk 'NR == FNR {count[$0]++; next}; count[$0] == 1' file file 
    Linux и Unix - лучшая ОС в мире.