Как написать содержимое файла в новый файл, удалив повторяющиеся строки

Например, файл file1.txt содержит

 Hi how are you hello today is monday hello I am fine Hi how are you 

После обработки file1.txt он должен записать в file2.txt и содержимое должно быть таким, не повторяя те же строки.

 Hi how are you hello today is monday I am fine 

Какую команду я могу использовать для этого в linux-терминале?

2 Solutions collect form web for “Как написать содержимое файла в новый файл, удалив повторяющиеся строки”

Это простая задача для sort , используйте уникальную ( -u ) опцию sort :

 % sort -u file1.txt hello Hi how are you I am fine today is monday 

Чтобы сохранить его в file2.txt :

 sort -u file1.txt >file2.txt 

Если вы хотите сохранить начальный порядок:

 % nl file1.txt | sort -uk2,2 | sort -k1,1n | cut -f2 Hi how are you hello today is monday I am fine 
 start cmd:> awk 'lines[$0]++ == 0' input Hi how are you hello today is monday I am fine 
  • Загрузка внешнего текстового файла в vi
  • Ошибка при поиске несуществующей строки с EDITOR = vi crontab -e
  • Как отредактировать содержимое файла в vi?
  • Не удалось установить vim-плагины
  • vi - найдите строку, в которой находится курсор?
  • Отступ несколько строк с VIM?
  • Vi для синтаксиса Cygwin
  • Vi editor: Какой самый быстрый способ удалить несколько строк в файле?
  • Проблемы с Gnu Screen и vi - визуализация
  • Как прокомментировать строку на основе слова, с которого оно начинается?
  • Звуковой сигнал при вводе обратной косой черты в обычном режиме cvim
  • Как автоматически установить bash readline в режим vi при входе в систему?
  • Linux и Unix - лучшая ОС в мире.