Как поймать дубликаты записей в текстовом файле в Linux

Ответ 1

Ваш вопрос не совсем ясен, но вы можете отфильтровывать повторяющиеся строки с помощью uniq:

sort file.txt | uniq

или просто

sort -u file.txt

(спасибо RobEarl)

Вы также можете печатать только повторяющиеся строки с помощью

sort file.txt | uniq -d

Ответ 2

Один способ использования GNU awk:

awk 'array[$0]++' file.txt 

Результаты:

1 1

Ответ 3

Вы можете использовать его легко:

sort -u file.txt

ИЛИ

awk '!x[$0]++' file.txt