Каков наиболее эффективный способ обнаружения дубликатов в таблице строк из 10 столбцов /50 тыс.? Я использую MSSQL 8.0
Как обнаружить повторяющиеся строки в таблице SQL Server?
Ответ 1
Чтобы показать пример того, что другие описывали:
SELECT
Col1, -- All of the columns you want to dedupe on
Col2, -- which is not neccesarily all of the columns
Col3, -- in the table
Col4,
Col5,
Col6,
Col7,
Col8,
Col9,
Col10
FROM
MyTable
GROUP BY
Col1,
Col2,
Col3,
Col4,
Col5,
Col6,
Col7,
Col8,
Col9,
Col10
HAVING
COUNT(*) > 1
Ответ 2
Вы можете использовать group by
для всех столбцов, а затем count(*)>1
Ответ 3
Попробуйте это
Select * From Table
Group By [List all fields in the Table here]
Having Count(*) > 1
Ответ 4
Чтобы обнаружить, просто группируйте, как сказал Гудж.
select fieldA, fieldB, count(*) from table
group by fieldA, fieldB
having count(*) > 1
Если вы хотите удалить dupes... pseudo....
select distinct into a temp table
truncate original table
select temp table back into original table
С усечением вы можете столкнуться с проблемами, если у вас есть ограничения FK, поэтому будьте умны в отношении ограничений на удаление и убедитесь, что вы не занимаетесь сиротой записей.
Ответ 5
В дополнение к предоставленным предложениям, я хотел бы затем попытаться предотвратить дубликаты в будущем, вместо того, чтобы пытаться найти их позже.
Это делается с использованием уникальных индексов для столбцов (или групп столбцов), которые должны быть уникальными. Помните, что данные в базе данных могут быть изменены из других мест, кроме определенного приложения, на котором вы работаете, поэтому лучше всего определить, что есть и не разрешено в таблице на уровне БД.