Как найти и удалить дубликаты в excel

Удаление дубликатов в Excel

Всем, кто работает с электронными таблицами, хоть раз приходилось сталкиваться с задачей удаления дубликатов. Excel для этого предоставляет свои штатные средства, их мы и рассмотрим в этой статье. Сразу скажу, что освещать буду методы простые и безотказные, углубляться в формулы я буду в другой статье — это более тонкая работа.

Итак, давайте сначал определимся, что нам нужно. Например, у нас есть таблица данных, где есть совпадения, причем, возможно, по нескольким столбцам. Какие есть задачи:

Поиск уникальных значений/Поиск дубликатов.
Получение уникальных значений.
Получение значений, где есть дублирующие записи.

Поиск одинаковых значений в Excel

Выберем одну из ячеек в таблице. Рассмотрим, как в Экселе найти повторяющиеся значения, равные содержимому ячейки, и выделить их цветом.

На рисунке – списки писателей. Алгоритм действий следующий:

Выбрать ячейку I3 с записью «С. А. Есенин».
Поставить задачу – выделить цветом ячейки с такими же записями.
Выделить область поисков.
Нажать вкладку «Главная».
Далее группа «Стили».
Затем «Условное форматирование»;
Нажать команду «Равно».

Появится диалоговое окно:

В левом поле указать ячейку с I2, в которой записано «С. А. Есенин».
В правом поле можно выбрать цвет шрифта.
Нажать «ОК».

В таблицах отмечены цветом ячейки, значение которых равно заданному.

Несложно понять, как в Экселе найти одинаковые значения в столбце. Просто выделить перед поиском нужную область – конкретный столбец.

Поиск и выделение дубликатов цветом

Чтобы выделить дубликаты на фоне других ячеек каким-то цветом, надо использовать условное форматирование. Этот инструмент имеет множество функций, в том числе, и возможность выставлять цвет для обнаруженных дубликатов.

В одном столбце

Условное форматирование – это наиболее простой способ определить, где находятся дубликаты в Excel и выделить их. Что нужно сделать для этого?

Найти ту область поиска дубликатов и выделить ее.
Переключить свой взор на Панель инструментов, и там развернуть вкладку «Главная». После нажатия на эту кнопку появляется набор пунктов, и нас, как уже было понятно исходя из информации выше, интересует пункт «Повторяющиеся значения».
Далее появляется окно, в котором нужно выбрать пункт «Повторяющиеся» и нажать на клавишу ОК.

Теперь дубликаты подсвечены красным цветом. После этого нужно их просто удалить, если в этом есть необходимость.

В нескольких столбцах

Если стоит задача определить дубликаты, расположенные больше, чем в одной колонке, то принципиальных отличий от стандартного использования условного форматирования нет. Единственная разница заключается в том, что необходимо выделить несколько столбцов.

Последовательность действий, в целом, следующая:

Выделить колонки, в которых будет осуществляться поиск дубликатов.
Развернуть вкладку «Главная». После этого находим пункт «Условное форматирование» и выставляем правило «Повторяющиеся значения» так, как это было описано выше.
Далее снова выбираем пункт «Повторяющиеся» в появившемся окошке, а в списке справа выбираем цвет заливки. После этого кликаем по «ОК» и радуемся жизни.

Дубликаты строк

Важно понимать, что между поиском дублей ячеек и строк есть огромная разница. Давайте ее рассмотрим более подробно. Посмотрите на эти две таблицы

Посмотрите на эти две таблицы.

1718

Характерная особенность тех таблиц, которые были приведены выше, заключается в том, что в них приводятся одни и те же значения. Все потому, что в первом примере осуществлялся поиск дубликатов ячеек, а во втором видим уже повторение строк с информацией.

Итак, что нужно сделать для поиска повторяющихся значений в рядах?

Создаем еще одну колонку в правой части по отношению к таблице с исходной информацией. В нем записывается формула, которая выводит объединенную информацию со всех ячеек, входящих в состав строки. =A2&B2&C2&D2
После этого мы увидим информацию, которая была объединена.
После этого следует выбрать дополнительную колонку (а именно, те ячейки, которые содержат объединенные данные).
Далее переходим на «Главная», а затем снова выбираем пункт «Повторяющиеся значения» аналогично описанному выше.
Далее появится диалоговое окно, где снова выбираем пункт «Повторяющиеся», а в правом перечне находим цвет, с использованием которого будет осуществляться выделение.

После того, как будет нажата кнопка «ОК», повторы будут обозначены тем цветом, который пользователь выбрал на предыдущем этапе.

Хорошо, предположим, перед нами стоит задача выбрать те строки, которые располагаются в исходном диапазоне, а не по вспомогательной колонке? Чтобы это сделать, нужно предпринять следующие действия:

Аналогично предыдущему примеру, делаем вспомогательную колонну, где записываем формулу объединения предыдущих столбцов. =A2&B2&C2&D2
Далее мы получаем все содержащиеся в строке значения, указанные в соответствующих ячейках каждой из строк.
После этого осуществляем выделение всей содержащиеся информации, не включая дополнительный столбец. В случае с нами это такой диапазон: A2:D15. После этого переходим на вкладку «Главная» и выбираем пункт «Условное форматирование» – создать правило (видим, что последовательность немного другая).
Далее нас интересует пункт «Использовать формулу для определения форматируемых ячеек», после чего вставляем в поле «Форматировать значения, для которых следующая формула является истинной», такую формулу. =СЧЁТЕСЛИ($E$2:$E$15;$E2)>1

Для дублированных строк обязательно установить правильный формат. С помощью приведенной выше формулы можно осуществить проверку диапазона на предмет наличия повторов и выделить их определенным пользователем цветом в таблице.

Метод 4: условное форматирование

Условное форматирование – гибкий и мощный инструмент, используемый для решения широкого спектра задач в Excel. В этом примере мы будем использовать его для выбора задвоенных строк, после чего их можно удалить любым удобным способом.

Выделяем все ячейки нашей таблицы.
Во вкладке “Главная” кликаем по кнопке “Условное форматирование“, которая находится в разделе инструментов “Стили“.
Откроется перечень, в котором выбираем группу “Правила выделения ячеек“, а внутри нее – пункт “Повторяющиеся значения“.
Окно настроек форматирования оставляем без изменений. Единственный его параметр, который можно поменять в соответствии с собственными цветовыми предпочтениями – это используемая для заливки выделяемых строк цветовая схема. По готовности нажимаем кнопку ОК.
Теперь все повторяющиеся ячейки в таблице “подсвечены”, и с ними можно работать – редактировать содержимое или удалить строки целиком любым удобным способом.

Важно! Этом метод не настолько универсален, как описанные выше, так как выделяет все ячейки с одинаковыми значениями, а не только те, для которых совпадает вся строка целиком. Это видно на предыдущем скриншоте, когда нужные задвоения по названиям регионов были выделены, но вместе с ними отмечены и все ячейки с категориями регионов, потому что значения этих категорий повторяются

Метод первый — для Excel 2007 и выше.

Слава богу, для обладателей версии Excel 2007 и выше можно ни о чем не думать. Начиная с этой версии, появилось штатное средство — «Удалить дубликаты» на вкладке Данные.

Пользоваться им просто:

Встаете на вашу таблицу с дубликатами, нажимаете «Удалить дубликаты«.
Появляется окно, где вам нужно выделить те столбцы, по которым у вас могут быть идти совпадения. Например, у меня список депутатов Госдумы и некоторые из них повторяются. Я могу выбрать все три столбца Фамилия, Имя и Отчество, а могу просто поискать однофамильцев, тогда я оставлю только первый столбец.
Результатом будет вот такое окно

Плюс этого метода — скорость и простота. Надо получить только уникальные значения — решения в два клика, получите и распишитесь.

Минус в том, что если мы более глубоко работаем над таблицей, то мы не сможем понять, какие данные были дублированы (а соответственно, не определим причину дубляжа), а это порой не менее важнее получения нормального списка.

Требования к инструментам

Редакторы могут помочь нам избежать повторяющихся объявлений, выделяя их. Лично я думаю, что небольшой символ «!» в конце строки, настраиваемый в каждом редакторе, был бы замечательным решением, как и возможность игнорировать или отключать уведомления для определенных строк. Это значительно упростило бы работу по оптимизации: не только для отслеживания избыточности, но и для получения представления о том, насколько проблематичен тот или иной случай. некоторых случаях таблицы стилей на 90% состоят из повторений.
Я уверен, у вас остались вопросы; но надеюсь, что их осталось меньше, чем раньше, когда мы в течение многих лет пренебрегали этой оптимизацией. С моей точки зрения, DRY CSS позволил бы нам более трезво взглянуть на переменные и другие функции, которые попали в спецификации CSS.

Как найти одинаковые строки в Excel и выделить их цветом

небольшое и выделяетсяFind and ReplaceOKНажмите кнопку форматирование для поиска=ЕСЛИОШИБКА(ИНДЕКС(адрес_столбца;ПОИСКПОЗ(0;СЧЁТЕСЛИ(адрес_шапки_столбца_дубликатов: адрес_шапки_столбца_дубликатов (абсолютный); адрес_столбца;)+ЕСЛИ(СЧЁТЕСЛИ(адрес_столбца;; их показ можно задачи – удаления будет проводиться проверка.Условное форматирование – СоздатьФормула (Formula) облегчить себе поиск, формула возвращает значения значений в исходный Дополнительное условие: при подтвердить указанный ранееЗажав левую кнопку мыши, в тексте. Теперь(Поиск и замена),, чтобы удалить дубликаты.ОК

Как объединить одинаковые строки одним цветом?

и выделения повторяющихся адрес_столбца;)>1;0;1);0));””) в любой момент дубликатов. Кликаем по Строка будет считаться

правило (Conditional Formattingи вводим такую выделим цветом все ИСТИНА. Принцип действия список, новый список добавлении новых значений диапазон ячеек, а выделить необходимый диапазон Вы можете визуально который встроен во
В нашем случае. данных. Это позволитСоздаем отдельный столбец, куда включить повторным нажатием
любой ячейке табличного дублем только в
– New Rule) проверку: даты этих дней формулы следующий: будет автоматически обновляться. в исходный список, если он не

ячеек, в пределах определить строки, которые все продукты Microsoft все строки с

Как выбрать строки по условию?

вам просматривать повторения будут выводиться дубликаты. на кнопку диапазона. При этом случае, если данныеи выбрать тип

=СЧЁТЕСЛИ($A:$A;A2)>1 недели (вторник, среда).Первая функция =СЦЕПИТЬ() складывает Это очень ресурсоемкая новый список должен совпадает, то переназначить. которого будет поиск имеют повторяющиеся значения.

Office. Для начала повторяющимися данными удалятся, очень часто возникает и удалять ихВводим формулу по указанному

«Фильтр» появляется дополнительная группа всех столбцов, выделенных правила

в английском Excel это Для этого будем в один ряд задача и годится автоматически включать только Также установите галочку и автоматическое удалениеЧтобы оставить один из необходимо открыть таблицу за исключением одной. ситуация, когда необходимо

по мере необходимости. выше шаблону в. вкладок галочкой, совпадут. ТоИспользовать формулу для опеределения будет соответственно =COUNTIF($A:$A;A2)>1 использовать условное форматирование. все символы из для небольших списков повторяющиеся значения. рядом с “Таблица

повторяющихся строк. дубликатов, достаточно вставить Excel, с которой Вся информация об удалить повторяющиеся строки.Выберите ячейки, которые нужно первую свободную ячейкуУрок:«Работа с таблицами»

есть, если вы форматируемых ячеек (UseЭта простая функция ищетВыделите диапазон данных в только одной строки 50-100 значений. ЕслиСписок значений, которые повторяются, с заголовками», еслиПерейти во вкладку “Данные”. исходный текст обратно

Как найти и выделить дни недели в датах?

планируется работать. удалении отобразится во Этот процесс может проверить на наличие нового столбца. ВРасширенный фильтр в Excel. Находясь во вкладке снимете галочку с a formula to сколько раз содержимое таблице A2:B11 и таблицы. При определении динамический список не создадим в столбце она такова, по

Нажать по инструменту “Удалить в строку, котораяОткрыв таблицу, выберите ячейку, всплывающем диалоговом окне.
превратиться в бессмысленную, повторений. нашем конкретном случаеНайти повторяющиеся ячейки можно«Конструктор»
названия какого-то столбца, determine which cell
текущей ячейки встречается выберите инструмент: «ГЛАВНАЯ»-«Стили»-«Условное условия форматирования все нужен, то можноB итогу нажмите кнопку дубликаты”, что находится

была заменена. В содержимое которой требуетсяВторым инструментом Excel, с

exceltable.com⁪>

Как найти и выделить

Найти и выделить дубликаты в документе можно, используя условное форматирование в Эксель. Выделите весь диапазон данных в нужной таблице. На вкладке «Главная» кликните на кнопочку «Условное форматирование», выберите из меню «Правила выделения ячеек» – «Повторяющиеся значения».

В следующем окне выберите из выпадающего списка «повторяющиеся», и цвет для ячейки и текста, в который нужно закрасить найденные дубликаты. Затем нажмите «ОК» и программа выполнит поиск дубликатов.

В примере Excel выделил розовым всю одинаковую информацию. Как видите, данные сравниваются не построчно, а выделяются одинаковые ячейки в столбцах. Поэтому выделена ячейка «Саша В.». Таких учеников может быть несколько, но с разными фамилиями.

Теперь можете выполнить сортировку в Эксель по цвету ячейки и текста, и удалить найденные повторяющиеся данные.

Поиск дублей в Excel

Спросите у SEO-шника без чего он, как без рук! Он наверняка ответит: без Excel! Эксель – лучший друг и помощник и для специалиста в SEO, и для вебмастера.

Одна из задач, которую тебе точно придётся решать при работе с большими массивами данных – это поиск дублей в Excel. Не вариант проверять тысячи ячеек руками – угробишь на это часы и выйдешь с работы, пошатываясь, будто пьяный. Я предложу тебе 2 способа, как выполнить эту работу в десяток раз быстрее. Они дают немного разные результаты, но в равной степени просты.

Как в Эксель найти повторяющиеся значения?

Для примера я распределил фамилии прославленных футболистов российской эпохи в пару столбцов. Нарочно сделал повторы в столбиках (иллюстрации кликабельны).

Наша цель – найти повторы в столбцах Excel и выделить их цветом.
Действуем так:

Шаг №1. Выделяем весь диапазон.

Шаг №2. Кликаем на раздел «Условное форматирование» в главной вкладке.

Шаг №3. Наводим на пункт «Правила выделения ячеек» и в появившемся списке выбираем «Повторяющиеся значения».

Шаг №4. Возникнет окно. Вам нужно выбрать, хотите ли вы подсветить повторяющиеся или уникальные значения. Также можно установить цвета заливки и текста.

Нажмите «ОК», и вы обнаружите: одинаковые ячейки в двух столбиках теперь выделены! Как видите, это вопрос 30 секунд.

Описанный вариант – самый удобный для пользователей Эксель версий 2013 и 2016.

Как вычислить повторы при помощи сводных таблиц

Метод хорош тем, что мы не только определяем повторяющиеся значения в Excel, но и пересчитываем их. Причём делаем это за считанные минуты. Правда, есть и минус – столбец с данными может быть всего один.

Вернёмся к нашим баранам футболистам. Я оставил один столбик, добавив в него ячейки-дубли, а также дописал заглавную строку (это обязательно).

Далее делаем следующее:

Шаг 1. В ячейках напротив фамилий проставляем единички. Вот так:

Шаг 2. Переходим в раздел «Вставка» главного меню и в блоке «Таблицы» выбираем «Сводная таблица».

Откроется окно «Создание сводной таблицы». Здесь нужно выбрать диапазон данных для анализа (1), указать, куда поместить отчёт (2) и нажать «ОК».

Только не ставьте галку напротив «Добавить эти данные в модель данных». Иначе Эксель начнёт формировать модель, и это парализует ваш комп на пару минут минимум.

Шаг 3. Распределите поля сводной таблицы следующим образом: первое поле (в моём случае «Футболисты») – в область «Строки», второе («Значение2») – в область «Значения». Используйте обычное перетаскивание (drag-and-drop).

Должно получиться так:

А на листе сформируется сама сводка – уже без дублированных ячеек. Зато во втором столбике будет указано, сколько ячеек-дублей с конкретным содержанием было обнаружено в первом столбике (например, Онопко – 2 шт.).

Этот метод «на бумаге» может выглядеть несколько замороченным, но уверяю: попробуете раз-два, набьёте руку, а потом все операции будете выполнять за минуту.

Заключение

При поиске дублей я, признаться, всегда пользуюсь первым из описанных мною способов – то есть действую через «Условное форматирование». Уж очень меня подкупает предельная простота этого метода.

Хотя на самом деле функционал программы Эксель настолько широк, что можно не только подсветить повторяющиеся значения в столбике, но и автоматически их все удалить. Я знаю, как это делается, но сейчас вам не скажу. Теперь на сайте есть отдельная статья об удалении повторяющихся строк в Excel – там и смотрите ????.

Помогли ли тебе мои методы работы с данными? Или ты знаешь лучше? Поделись своим мнением в х!

Кликни на звездочку, чтобы оценить его!

Средний рейтинг 3.6 / 5. Итог: 5

Поиск и удаление

Найти и удалить значения таблицы, которые дублируются, возможно разными способами. В каждом из этих вариантов поиск и ликвидация дубликатов – это звенья одного процесса.

Способ 1: простое удаление повторяющихся строк

Проще всего удалить дубликаты – это воспользоваться специальной кнопкой на ленте, предназначенной для этих целей.

Выделяем весь табличный диапазон. Переходим во вкладку «Данные». Жмем на кнопку «Удалить дубликаты». Она располагается на ленте в блоке инструментов «Работа с данными».

Открывается окно удаление дубликатов. Если у вас таблица с шапкой (а в подавляющем большинстве всегда так и есть), то около параметра «Мои данные содержат заголовки» должна стоять галочка. В основном поле окна расположен список столбцов, по которым будет проводиться проверка. Строка будет считаться дублем только в случае, если данные всех столбцов, выделенных галочкой, совпадут. То есть, если вы снимете галочку с названия какого-то столбца, то тем самым расширяете вероятность признания записи повторной. После того, как все требуемые настройки произведены, жмем на кнопку «OK».

Excel выполняет процедуру поиска и удаления дубликатов. После её завершения появляется информационное окно, в котором сообщается, сколько повторных значений было удалено и количество оставшихся уникальных записей. Чтобы закрыть данное окно, жмем кнопку «OK».

Способ 2: удаление дубликатов в «умной таблице»

Дубликаты можно удалить из диапазона ячеек, создав умную таблицу.

Выделяем весь табличный диапазон.

Находясь во вкладке «Главная» жмем на кнопку «Форматировать как таблицу», расположенную на ленте в блоке инструментов «Стили». В появившемся списке выбираем любой понравившийся стиль.

Затем открывается небольшое окошко, в котором нужно подтвердить выбранный диапазон для формирования «умной таблицы». Если вы выделили все правильно, то можно подтверждать, если допустили ошибку, то в этом окне следует исправить

Важно также обратить внимание на то, чтобы около параметра «Таблица с заголовками» стояла галочка. Если её нет, то следует поставить. После того, как все настройки завершены, жмите на кнопку «OK»

«Умная таблица» создана

После того, как все настройки завершены, жмите на кнопку «OK». «Умная таблица» создана.

После этого, открывается окно удаления дубликатов, работа с которым была подробно расписана при описании первого способа. Все дальнейшие действия производятся в точно таком же порядке.

Этот способ является наиболее универсальным и функциональным из всех описанных в данной статье.

Способ 3: применение сортировки

Данный способ является не совсем удалением дубликатов, так как сортировка только скрывает повторные записи в таблице.

Выделяем таблицу. Переходим во вкладку «Данные». Жмем на кнопку «Фильтр», расположенную в блоке настроек «Сортировка и фильтр».

Фильтр включен, о чем говорят появившиеся пиктограммы в виде перевернутых треугольников в названиях столбцов. Теперь нам нужно его настроить. Кликаем по кнопке «Дополнительно», расположенной рядом все в той же группе инструментов «Сортировка и фильтр».

Открывается окно расширенного фильтра. Устанавливаем в нем галочку напротив параметра «Только уникальные записи». Все остальные настройки оставляем по умолчанию. После этого кликаем по кнопке «OK».

После этого, повторяющиеся записи будут скрыты. Но их показ можно в любой момент включить повторным нажатием на кнопку «Фильтр».

Способ 4: условное форматирование

Найти повторяющиеся ячейки можно также при помощи условного форматирования таблицы. Правда, удалять их придется другим инструментом.

Удаление Дубликатов по Нескольким Критериям

Давайте вернемся, к казалось бы, простому меню, которое у нас выскакивает при выделенных данных. В этом списке представлены все колонки нашей Excel таблицы. Вы можете заметить, что каждой колонке соответствует свой чекбокс.

Зачем нам нужно это меню? Главным образом, оно позволят нам уточнить для Excel, каким образом будут удалять повторы. Давайте рассмотрим пример:

Пример Удаления Дубликатов по одному фактору.

На скриншоте выше, я опять выделили данные и нажал на кнопку Удалить Дубликаты. Затем, я снял выделения в чекбоксах, за исключением одного — «Chef». Результат показан в нижней половине картинки. Заметьте, что наша таблица уменьшилась всего на три строки, на те в которых повторялось имя шефа.

Когда мы отмечаем только чекбокс с названием «Chef», мы просим Excel, искать повторы только в колонке Chef. Первый раз, как он видит повторяющееся имя в колонке chefe, то он удаляет целую строку, в независимости от того, чем отличаются другие колонки.

Будьте Осторожны Удаляя Повторяющиеся Строки в Excell

И вот почему так важно соблюдать осторожность при использовании функции «Удалить Дубликаты». Если вы оставите удаление по одному фактору, то вы можете случайно удалить данные, которые на самом деле нужны

Совет: окошки, которые вы оставляете отмеченными в окне Удаления Дубликатов — это комбинации по которым Excel будет проверять повторы

Оставляйте отмеченными несколько чекбоксов, для более аккуратного удаления

Совет: окошки, которые вы оставляете отмеченными в окне Удаления Дубликатов — это комбинации по которым Excel будет проверять повторы. Оставляйте отмеченными несколько чекбоксов, для более аккуратного удаления.

Часто, одной колонки не достаточно, что бы достоверно судить о наличии повторов. Если у вас есть онлайн магазин, и вы ведете базу данных по покупателям, велики шансы, что среди ваши данных есть более чем одно упоминание покупателя «Mike Smith». Вы должны отмечать несколько колонок, для правильного удаления дубликатов, такие как имя покупателя, его адрес или дата регистрации. Вот почему мы отмечаем несколько колонок.

Если вы хотите, чтобы удаление повторов было более точным, оставляйте отмеченными несколько чекбоксов (колонок), когда используете функцию Удалить Дубликаты. И кончено же, всегда дважды проверьте ваши данные, после использования этой функции.

Когда Нужно Быть Избирательным

Если вы используете таблицу с примерами, откройте вкладку Duplicate Shifts, для этой части урока.

Вы можете задаться вопросом: а может быть ситуация, где вам действительно придется снять галочки с каких-то окошек? Конечно может. Давайте рассмотрим следующий пример.

В таблице ниже у меня есть данные о рабочей смене сотрудников, и я случайно загрузил данные два раза. Для каждого сотрудника есть время прихода и ухода, и плюс к этому есть колонка с датой, когда я загрузил отчет. Присутствуют повторы для каждой строки, за исключением одной колонки F, где стоит Дата Загрузки Отчета.

Мне необходимо удалить повторы, потому что отчет был ошибочно загружен дважды (посмотрите на последнюю колонку), но мне нужно исключить последнюю колонку из проверок по дубликатам.

Давайте подумаем: если я отмечу все колонки для поиска повторов, Excel не найдет дубликатов. Но, я на самом деле хочу удалить повторы в рабочих сменах

Мне на самом деле не важно, в какой день я загрузил отчет, поэтому я должен исключить колонку F, при оценке повторяющихся строк

Мои строки почти что те же; отличия только в колонке F, я не хочу, чтобы Excel оценивал ее при поиске повторов. Если я оставлю галочки во всех чекбоксах, Excel вообще не найдет повторов.

Эти строки не совсем повторы — в них не все повторяется, но мне нужно удалить дубликаты, основываясь на данных в колонках A-E.

Что бы сделать это, я снова выделяю таблицу и снова запускаю функцию Удалить Дубликаты. На этот раз, я оставил отмеченными все чекбоксы, за исключением Report Download Date (дата загрузки отчета).

Заметьте, что Excel удалил дубликаты, потому что он игнорировал и не стал проверять в процессе работы алгоритма колонку F.

Вы можете представить себе это таким образом: те чекбоксы которые вы оставили отмеченными, соответствуют тем колонкам, которые Excel стал рассматривать в ходе поиска повторов. Если есть особые колонки, в которых не надо искать дубликаты, то снимите соответствующие галочки в окне Удалить Дубликаты.