Как написать содержимое файла в новый файл, удалив повторяющиеся строки

Например, файл file1.txt содержит

 Hi how are you hello today is monday hello I am fine Hi how are you 

После обработки file1.txt он должен записать в file2.txt и содержимое должно быть таким, не повторяя те же строки.

 Hi how are you hello today is monday I am fine 

Какую команду я могу использовать для этого в linux-терминале?

  • Сделать скрипт исполняемым из vi / vim
  • Насколько отличается Элвис от Вима?
  • Binding Shift-Enter для вставки новой строки без оценки текущего выражения
  • Как искать <td> n в vim?
  • Отступ несколько строк с VIM?
  • Конфигурация режима Bash vi по умолчанию в режиме команд
  • Vi на Xenix: почему вместо прокрутки строка перезаписывает текущую строку?
  • Каковы плюсы и минусы Vim и Emacs?
  • 2 Solutions collect form web for “Как написать содержимое файла в новый файл, удалив повторяющиеся строки”

    Это простая задача для sort , используйте уникальную ( -u ) опцию sort :

     % sort -u file1.txt hello Hi how are you I am fine today is monday 

    Чтобы сохранить его в file2.txt :

     sort -u file1.txt >file2.txt 

    Если вы хотите сохранить начальный порядок:

     % nl file1.txt | sort -uk2,2 | sort -k1,1n | cut -f2 Hi how are you hello today is monday I am fine 
     start cmd:> awk 'lines[$0]++ == 0' input Hi how are you hello today is monday I am fine 
    Interesting Posts
    Linux и Unix - лучшая ОС в мире.