Как удалить оба дубликата из файла на основе первых двух столбцов

Мне нужно удалить оба дубликата из файла test.txt на основе первых двух столбцов:

 tom,22,777 tom,22,888 tom,18,54 ray,44,43843 

ожидаемый результат:

 tom,18,54 ray,44,43843 

Я пробовал использовать cat test.txt | sort -ut, k1,1 k2,2 cat test.txt | sort -ut, k1,1 k2,2 но он не работает

  • Сортировка текста по определенному местоположению на каждой строке
  • Выключение двойных кавычек в строке
  • Сортировка блоков линий
  • Сравнить даты в списке
  • Присоедините два текстовых файла к порядку ведения 1-го столбца и неустранимые строки из 1-го файла
  • Удаление линий, которые являются общими для выходов, создаваемых двумя командами
  • Сортировка всех строк по горизонтали по ссылке на столбцы в определенной строке
  • Группировать по функциональности на Mac-адресе
  • 3 Solutions collect form web for “Как удалить оба дубликата из файла на основе первых двух столбцов”

    Вы можете использовать awk : обрабатывать файл дважды, один раз, чтобы подсчитать вхождения 1-го и 2-го полей, а затем снова распечатать строки, если count равен 1:

     awk -F, 'NR==FNR{seen[$1,$2]++;next};seen[$1,$2]==1' infile infile 

    Один из способов сделать это, предполагая GNU grep(1) (для fgrep -f - ) и предполагая, что поля на вашем входе состоят только из буквенно-цифровых символов:

     cut -d , -f 1,2 file.csv | sort | uniq -d | fgrep -vwf - file.csv 

    Попробуй это

      cat file.txt | grep -v "`cut -d , -f 1,2 file.txt | uniq -d`" 
    Interesting Posts

    вытягивание строк из смешанного файла строк и двоичных

    Виртуальный хост-сервер VirtualBox / Vagrant не получает IP-адрес

    wget зависает ПОСЛЕ завершения загрузки, на exit_group

    Как завершить завершенную установку Debian?

    wget не может войти в ftp

    Как я могу проанализировать ini-файл, чьи значения могут содержать определенные символы?

    Почему Gnome или KDE не производят собственный дистрибутив (или другие проекты для настольных компьютеров, если на то пошло)?

    Почему «ключевое слово grep» заставляет терминал стоять вечно?

    Почему `tac файл | grep foo '(piping) быстрее, чем `grep foo <<(tac файл)' (замена процесса)?

    ресурсы для программирования linux

    sh -c не получает правильный вывод при выполнении сценария оболочки

    Путаница в отношении связывания библиотеки boost во время компиляции

    Извлечь значение смещения ntpdate в переменной в python

    iceweasel (firefox) переустановка браузера

    Создание отпечатков HPKP для всей цепочки сертификатов

    Linux и Unix - лучшая ОС в мире.