Как удалить повторяющиеся строки

Удаление повторяющихся строк

Задача. Есть текстовый список разбитый по строкам. В списке присутствуют некоторые дубли строк. Необходимо удалить дубликаты строк из списка.

Сделать операцию по удалению дублей можно несколькими способами, предварительно вставив список в программу в которой будем работать.

Удалить дубликаты в Microsoft Excel

Удаление дубликатов в Microsoft Excel:

1. Выделяем список (столбец)
2. Переходим во вкладку Date (Данные), нажимаем команду Remove Duplicates (Удалить дубликаты)
3. В открывшемся диалоговом окне «Remove Duplicates» (Удалить дубликаты) снимаем флажок My data has headers (Мои данные содержат заголовки)
4. Нажимаем OK. Все повторяющиеся строки будут удалены, кроме первой (оригинала).

Фильтровать дубликаты в LibreOffice

1. Выделяем нужные ячейки (столбец целиком);
2. Открываем меню Date (Данные);
3. «Ещё фильтры»;
4. «Стандартный фильтр…»;
5. В открывшемся диалоговом окне в поле «Имя поля» выбираем необходимый столбец;
6. В поле «Условие» устанавливаем знак равно «=»;
7. В поле «Значение» указываем «Не пусто»;
8. Внизу в разделе «Параметры» обязательно отмечаем флажок «Без повторений» ;
9. Жмем OK. В столбце останутся только единичные экземпляры и можно их скопировать.

Путь к стандартному фильтру в LibreOffice

Окно стандартного фильтра в Libre Office

Google-Таблицы

Google Таблицы не имеют встроенных функций удаления дублей, поэтому можно использовать установить дополнение «Remove Duplicates». Установить это расширение можно бесплатно.

После установки расширения заходим в Гугл-таблицу:

1. Выделяем столбец (строки) где нужно почистить от дублей;
2. нажимаем в меню «Дополнения»;
3. Remove Duplicates (Удалить дубликаты);
4. Find duplicates or uniques rows (Найти дубликаты или уникальные);
5. В открывшемся окне на 1-м шаге нажимаем «Next»;
6. Во 2-ом шаге выбираем «Duplicates» и далее;
7. Пропускаем 3-й шаг далее;
8. И на 4-ом шаге выбираем, что делать с найденными дублями: перенести (Move), копировать (Copy) в другое место, очистить (Clear) или удалить (Delete). Выбираем «Delete rows within selection» (Удалить выделенные строки);
9. Всё, готово.

Remove Dublicate шаг 1

Remove Dublicate шаг 4

NotePad++

Для удаления ненужных дублей строк в NotePad++ необходимо установить плагин TextFX если не установлен.

Удаление дублей строк плагином TextFX в NotePad++

Удаление повторяющихся строк:

1. Переходим в документ со списком и выделяем (Ctrl+A);
2. нажимаем в меню TextFX;
3. TextFX Tools;
4. проверяем отмечена ли функция Sort outputs only UNIQUE lines (Сортировать вывод только по УНИКАЛЬНЫМ строкам);
5. если да, то сразу выбираем Sort lines case insensitive (Сортировка строк без учета регистра).

Удаление дублей онлайн

Для удаления повторяющихся строк (например, это может быть список ключевых слов из KeyCollector, Excel, NotePad и пр.) можно воспользоваться онлайн инструментом удаления дубликатов «Сервис удаления дублей строк».

Удаление дублей строк вместе с оригиналами

Дубликаты с оригиналом в Microsoft Excel

Данная задача выполняется чуть сложнее чем в случае выше. Суть заключается в том, что нужно выделить дубли строк другим цветом, а потом отсортировать по цвету и удалить одинаковые строки.

1. Выделяем диапазон строк (столбец) ➤ Условное форматирование ➤ Правила выделения ячеек ➤ Повторяющиеся значение ➤ в диалоговом окне нажимаем OK.
2. Выделяем диапазон строк (или столбец) ➤ Сортировка и фильтр ➤ Фильтр. В первой строке появится квадратик контекстного меню.
3. Нажимаем ЛКМ на появившийся квадратик в первой строке ➤ Фильтр по цвету ➤ фильтруем по цвету ячейки.
4. В таблице остались только одинаковые строки, выделяем все строки ➤ правой кнопкой мыши вызываем контекстное меню в области над номерами строк ➤ Удалить строку.

Изображение ниже поможет сориентироваться в действиях.

Инструкция удаления строк-дублей вместе с оригиналом в Excel

Программа удаления строк-дублей bvsDupDelet

Программу bvsDupDelet нашел на форуме forum.antichat.ru. Она быстро удаляет дубли строк. В настройках нужно выбрать Unique, чтобы удалить повторяющиеся строки вместе с их оригиналом. В Input необходимо выбрать txt файл редактируемого списка, а в Output — папку куда будет сохранен новый документ.

Настройки программы bvsDupDelet