uniq

uniq — утилита Unix, с помощью которой можно вывести или отфильтровать повторяющиеся строки в отсортированном файле. Если входной файл задан как («-») или не задан вовсе, чтение производится из стандартного ввода. Если выходной файл не задан, запись производится в стандартный вывод. Вторая и последующие копии повторяющихся соседних строк не записываются. Повторяющиеся входные строки не распознаются, если они не следуют строго друг за другом, поэтому может потребоваться предварительная сортировка файлов.

uniq [-c | -d | -u] [-i] [-f число_полей] [-s | -w число_символов] [входной_файл [выходной_файл]]

Опции программы имеют следующие значения:

-u

Выводить только те строки, которые не повторяются на входе.

-d

Выводить только те строки, которые повторяются на входе.

-c

Перед каждой строкой выводить число повторений этой строки на входе и один пробел.

-i

Сравнивать строки без учёта регистра.

-s число_символов

Определяет количество символов, начиная с начала строки, игнорируемых при сравнении. Все остальные символы сравниваются. Символы нумеруются начиная с единицы.

-w число символов

Определяет количество символов, начиная с начала строки, участвующих в сравнении. Все остальные символы игнорируются.

-f число_полей

Игнорировать при сравнении первые число_полей полей каждой строки ввода. Полем является строка непробельных символов, отделённая от соседних полей пробельными символами. Поля нумеруются начиная с единицы.

• Jacek Artymiak. Tip: Remove duplicate lines with uniq  (неопр.). IBM developerWorks (3 апреля 2003). Дата обращения: 22 августа 2013. Архивировано 25 августа 2013 года.

• uniq(1) — страница справки man по пользовательским командам GNU/Linux  (англ.) (см. GNU Coreutils)
• uniq(1) — страница справки man по пользовательским командам OpenBSD  (англ.)
• uniq(1) — страница справки man по пользовательским командам FreeBSD  (англ.)

Для Windows

• SourceForge UnxUtils — Port of several GNU utilities to Windows Архивная копия от 25 сентября 2013 на Wayback Machine