Linux команда uniq — обработка уникальных и повторяющихся строк в текстовом файле.

#!/bin/bash
# uniq — команда проверяет строки на уникальность

# 1:00 добавляем межстрочный интервал во весь файл
uniq -c text_file

# 1:34 по скольким символам (от начала) сравнивать
uniq -c -w2 text_file

# 2:22 избегать сравнения по N начальных полей
uniq -c -f2 text_file

# 3:09 избегать сравнения по N начальным символам
uniq -c -s15 text_file

# 3:46 игнорировать различия в регистре
uniq -c -s15 -i text_file

# 4:16 печатать по одной повторяющейся строке
uniq -d -s15 -i text_file

# 4:44 печатать ВСЕ повторяющиеся строки
uniq -D -s15 -i text_file

# 5:06 печатать только уникальные строки
uniq -u -s15 -i text_file