How to find and merge duplicates? (approaches)
0 likes334 views
Документ описывает методы поиска и объединения дубликатов данных, включая очистку, оценку качества и анализ данных. Основное внимание уделяется компонентам системы, механизмам обработки данных и применению алгоритмов для идентификации и слияния записей. Приведен практический пример на основе атрибутов клиентов и алгоритма сравнения.
How to find and merge duplicates? (approaches)
- 1. Как найти и объединить дубликаты? Подходы и решения
- 2. СодержаниеСостав работОценка качества данныхОчистка данныхПоиск и слияние похожих записейКомпоненты системы поиска дубликатов
- 3. Состав работИсключениедубликатовАнализ Данных Поиск дубликатовСлияние записей Управление правилами объединения записейОценка текущего качества данныхОчистка данныхПриведение форматов, добавление недостающих данных, исправление ошибок
- 4. Оценка качества данныхПростая статистикаЧастотный анализСоответствие форматамСсылочная целостность
- 5. Простая статистика для набора ключевых атрибутовКлючевые атрибуты = {Фамилия, Имя, Отчество, Пол, Почтовый адрес}192 983(100%)163 088(84%)156 870(81%)6 218(3%)Количество наборов данныхКоличество уникальных наборов данныхКоличество дублирующихся наборов данныхКоличество записей
- 6. Простая статистика для атрибутаАтрибут = {Фамилия}3 0912 196895285Количество ФамилийКоличество повторяющихся фамилийКоличество ПустыхЗначенийКоличество уникальныхфамилий
- 7. Частотный анализ данныхАтрибут = {Фамилия}ИвановКозловКовалевЖукНовикНовиковИвановаМорозЗайцевСтрахователь1 818 записей
- 8. Соответствие форматуАтрибут = {Номер паспорта}89,80%10,20%Номер паспорта должен содержать 7 цифр
- 9. Оценка ссылочной целостностиАтрибут = {Фамилия}Клиенты79,74%20,26%100 %Адреса20,26% или 39 093 записей о клиентах не имеют данных о почтовом адресе
- 11. Очистка данныхПриведение форматовДобавление недостающих данныхКорректировка ошибок
- 12. Приведение форматовРезультирующие данныеИсходные данныеИмяОтчествоФамилияСерияНомерПетров Петр ПетровичMP1234567ИМЯПетрОТЧЕСТВОПетровичПетровФАМИЛИЯРазделение полейСерияMP1234567Номер
- 13. Добавление недостающих данныхПолИмяОтчествоФамилияИсходные данныеПетрПетровичВнешние справочникиСправочник ИменПетровТип имениМужскоеРезультирующие данныеИмяПетрИМЯПетрОТЧЕСТВОПетровичПетровФАМИЛИЯПолМУЖСКОЙ
- 14. Корректировка ошибокИмяОтчествоФамилияСерияНомерКириллица ->латиницаРезультирующие данныеИсходные данныеMPПетр ПетровичИмяПетрПетровичОтчествоПетровичПетровПетровФамилияСерияMP12345671234567Номер
- 16. Исключение дубликатовПоиск дубликатовСлияние данныхРабота над ошибками
- 17. Алгоритм поиска дубликатовИсточник 1Источник 2Идентифицирующие атрибутыМетодсравненияВесовой коэффициентДистанция====1ПетрПетрИмяJaro-Winkler101ПетрПетрОтчествоJaro-Winkler100,89ПетровПитровФамилияJaro-Winkler151MP1234567MP 1234567ПаспортJaro-Winkler20N∑(Дистанция х Весовой коэффициент )Результатсравнения10*1+10*1+0,89*15+20*11РЕЗУЛЬТАТ0,970,97==110+10+15+20Весовой коэффициент∑1Нижний порог0,75<НовыйДубликат>Верхний порог0,95Дубликат
- 18. Блокировки1 000 записей о клиентах = 1 000 000 операций сравнения1 000 000 записей о клиентах = 1 000 000 000 0000 операций сравненияКод похожестиИмяФамилия№ ПаспортаОтчествоГородИИИ123ВитебскИванИванов1234567ИвановичВитебскВитебскППП765Витебск7654321ПетрПетровПетровичЗаписи подлежащие сравнениюСАН123Минск1237654МинскНиколаевичАндрейСидоровМинскСАН123Минск1237645СидоровАндрейНиколаевич
- 19. Результаты поискаS = Индекс похожестиS <= 0,75S >= 0,970,75 < S < 0,97УникальныезаписиПодозрительныезаписиДубликаты
- 20. Объединение записейЗапись 1Формирование итоговой записиИмяОтчествоФамилияСерияНомерИмяОтчествоФамилияСерияНомерИмяОтчествоФамилияСерияНомерMPMPMPНиколаевичМаксимМаксимМаксимИтоговая записьАстарховНиколаевич1234576ОстарховЗапись 21234567НиколаевичОстархов1234567
- 21. Работа над ошибкамиЗапись 1 (до слияния)Разделение записи и восстановление исходной информацииИмяОтчествоФамилияСерияНомерИмяОтчествоФамилияСерияНомерИмяОтчествоФамилияСерияНомерMPMPMPНиколаевичМаксимМаксимМаксимИтоговая записьАстарховНиколаевич1234576ОстарховЗапись 2 (до слияния)1234567НиколаевичОстархов1234567
- 22. Компоненты системы поиска дубликатовМЕХАНИЗМЫ РАЗДЕЛЕНИЯ ЗАПИСЕЙБИБЛИОТЕКА ПРАВИЛМЕХАНИЗМЫ ОБЪЕДИНЕНИЯ ЗАПИСЕЙИСДАННЫЕ О КЛИЕНТАХМЕХАНИЗМ ОЦЕНКИ КАЧЕСТВА ДАННЫХАВТОМАТИЗИРОВАННЫЕВ РУЧНУЮМЕХАНИЗМЫ ОЧИСТКИ ДАННЫХМЕХАНИЗМЫ ПОИСКА ДУБЛИКАТОВОТЧЕТНОСТЬАВТОМАТИЗИРОВАННЫЕВ РУЧНУЮ
- 23. ДемонстрацияTalend Open Profiler +MS SQL Server 2008 R2 Эффективное средство оценки качества данных
- 24. За кадромИнтервальный анализАнализ датКорреляционный анализАнализ текстовых значенийОтчетность
- 25. Спасибо за внимание!Максим ОСТАРХОВДиректор по развитию бизнеса в СНГТел.: +7 495 641 0206Моб.: + 7 915 400 8031Skype: m.ostarhovE-mail: m.ostarhov@itransition.comWeb: www.itransition.ru