Как удалить оба дубликата из файла на основе первых двух столбцов

Мне нужно удалить оба дубликата из файла test.txt на основе первых двух столбцов:

 tom,22,777 tom,22,888 tom,18,54 ray,44,43843 

ожидаемый результат:

 tom,18,54 ray,44,43843 

Я пробовал использовать cat test.txt | sort -ut, k1,1 k2,2 cat test.txt | sort -ut, k1,1 k2,2 но он не работает

  • Как добавить имя, дату и размер жесткого диска
  • Команда вроде «paste - -», но отсортированная в алфавитном порядке
  • Как искать и заменять несколько игл одним словом через одно выражение?
  • сортировать, но держать строку заголовка вверху
  • Добавить пробел между файловыми путями
  • Узнайте наиболее часто используемые строки в разделе файла
  • Есть ли удобный способ классификации файлов как «двоичный» или «текст»?
  • Есть ли команда Unix, которая ищет похожие строки, основываясь главным образом на том, как они звучат, когда говорят?
  • 3 Solutions collect form web for “Как удалить оба дубликата из файла на основе первых двух столбцов”

    Вы можете использовать awk : обрабатывать файл дважды, один раз, чтобы подсчитать вхождения 1-го и 2-го полей, а затем снова распечатать строки, если count равен 1:

     awk -F, 'NR==FNR{seen[$1,$2]++;next};seen[$1,$2]==1' infile infile 

    Один из способов сделать это, предполагая GNU grep(1) (для fgrep -f - ) и предполагая, что поля на вашем входе состоят только из буквенно-цифровых символов:

     cut -d , -f 1,2 file.csv | sort | uniq -d | fgrep -vwf - file.csv 

    Попробуй это

      cat file.txt | grep -v "`cut -d , -f 1,2 file.txt | uniq -d`" 
    Interesting Posts

    как массировать или форматировать html для анализа с помощью xmstarlet?

    Объединение строк текста с повторным началом

    Как я могу получить Ubuntu 12.04 для обновления aptitude; обновление aptitude?

    Cygwin X не работает с DISPLAY localhost: 0 на окнах 10

    Как найти текущий путь chroot jail в Linux <2.6.26

    Что такое среда scsi для Linux

    Как я могу использовать цикл внутри команды?

    Ошибка в формате при добавлении столбца с sed

    unix chroot jail shell (с или без sudo?)

    Есть ли контрольный список для того, чтобы программа «beep» работала?

    Список строк, которые являются подстроками других строк в списке

    Как заставить Debian Jessie использовать проприетарный драйвер nvidia?

    Как отключить энергосбережение на экране ноутбука при использовании Scientific Linux 6.3?

    Должна ли файловая система быть размонтирована при расширении логического тома LVM?

    Как найти только файлы, с которыми успешно завершена команда xyz?

    Linux и Unix - лучшая ОС в мире.