Как написать содержимое файла в новый файл, удалив повторяющиеся строки

Например, файл file1.txt содержит

 Hi how are you hello today is monday hello I am fine Hi how are you 

После обработки file1.txt он должен записать в file2.txt и содержимое должно быть таким, не повторяя те же строки.

 Hi how are you hello today is monday I am fine 

Какую команду я могу использовать для этого в linux-терминале?

  • Что такое «<Esc> Kv» в bash
  • Навигация по истории в режиме Vi оболочки Bash
  • Как остановить Vim от изменения моего каталога при выполнении make-файла?
  • lookbehind и использовать его с grep в Vi?
  • EX: перейти к предыдущему файлу
  • Редактор Vi, поиск и замена сложной строки
  • Как вы настраиваете функцию «компиляции парсера», чтобы помочь с редактированием простых скриптов в Элвисе?
  • Подавлять файлы восстановления при редактировании конфиденциальных файлов в vi, nvi и vim
  • 2 Solutions collect form web for “Как написать содержимое файла в новый файл, удалив повторяющиеся строки”

    Это простая задача для sort , используйте уникальную ( -u ) опцию sort :

     % sort -u file1.txt hello Hi how are you I am fine today is monday 

    Чтобы сохранить его в file2.txt :

     sort -u file1.txt >file2.txt 

    Если вы хотите сохранить начальный порядок:

     % nl file1.txt | sort -uk2,2 | sort -k1,1n | cut -f2 Hi how are you hello today is monday I am fine 
     start cmd:> awk 'lines[$0]++ == 0' input Hi how are you hello today is monday I am fine 
    Interesting Posts
    Linux и Unix - лучшая ОС в мире.