Talend Data Quality - Customer Data Management platform

Talend Data QualityПлатформа управления клиентскими данными

СодержаниеО компаниях Talend и ItransitionОбласти применения платформы решений TalendВарианты использования платформы Talend Data Quality

О компании Itransition10 лет на рынке ИТВ штате компании более 600 специалистов№1 по темпам роста в 2009 гг. в РоссииПрестижные премии в сфере бизнеса и ИТСервисный партнер SAPСертифицированный партнер MicrosoftПартнер Rackspace, Broad Vision, NorthGate Arinso, Talend

О компании5 лет на мировом рынке ИТПоказатели востребованости продуктов:10 миллионов загрузок за все время существования450 000 пользователей1 500 заказчиков100 новых заказчиков в месяц1 загрузка Talend Open Studio в минуту

Области применения решений TalendMDMКачество данныхУправление справочными даннымиПрофилированиеи очисткаданныхИнтеграция данныхФункциональная интеграцияАналитика (ETL)Оперативный обмен данными между информационными системами.Извлечение, преобразование и загрузка данных для систем, обеспечивающих принятие решений

Talend Data QualityВарианты использования:Управление справочной информациейОперационное использованиеАналитическое использование

Управление справочнойинформациейИнформационная система № 1Информационная система № 2ВЫБОРКА ОБНОВЛЕНИЙВЫБОРКА ОБНОВЛЕНИЙКОНСОЛИДАЦИЯДАННЫЕДАННЫЕПОИСК ДУБЛИКАТОВПОЛЬЗОВАТЕЛЬСЛИЯНИЕЗАГРУЗКА ОБНОВЛЕНИЙЗАГРУЗКА ОБНОВЛЕНИЙОБНОВЛЕНИЕ CDIMDM-CDI ХРАНИЛИЩЕВЫБОРКА ОБНОВЛЕНИЙ

Решаемые задачиСоздание модели данных

Организация доступа к модели данных пользователям

Создание механизмов интеграции данных

Создание механизмов контроля качества данныхTIS StudioTALENDMDM STUDIOAdministration& MonitoringData StewardshipConsoleTalend Web UIExecution ServerTalend Administration CenterСхема развертыванияTalend MDM ServerExecution ServerAdmin MetadataActivity Monitoring ConsoleМодель и данныеМетаданных проекта

Создание моделей данныхИнструмент: Talend MDM StudioВозможности:Проектирование модели данныхУправление представлением данныхФормирование правил контроля качества хранимых данныхОрганизация доступа к данным

Модель данныхФизическая область хранения метаданных и данныхБиблиотекатиповФИЗИЧЕСКИЙ АДРЕСЮРИДИЧЕСКИЙ АДРЕСАДРЕС ДОСТАВКИКонтейнер данныхINSURANCEМодель данных INSURANCEПравила проверки данныхТипы данныхБезопасностьАДРЕСИНДЕНТИФИКАЦИОН- НЫЙ ДОКУМЕНТТЕЛЕФОННЫЙНОМЕРПАСПОРТПРАВАМОБИЛЬНЫЙ ТЕЛЕФОНРАБОЧИЙ ТЕЛЕФОНФАКСМодель данныхЛогическая структура описывающая модель основных данных

Управление сущностямиПовторное использование (Типизация)СУЩНОСТЬАТРИБУТАННОТАЦИЯАННОТАЦИЯКЛИЕНТНОМЕР ПАСПОРТАПростые типыТипизацияСложные типыВозможностиУправление отображениемУправление доступСвязывание сущностейПроверка вводимых данных

Аннотации, управление отображениемУправление сообщениямиоб ошибкахОбязательное полеУправление форматомизображения9 Января 1977 г.1977 – 01 – 09Дата рождения*Место рождения:Управление описаниемполяУправление названиемполяПол: Муж. Жен.Дата рождения клиентафизического лицаДата рождения

Аннотации, управление отображениемУправление сообщениямиоб ошибкахMandatory fieldУправление форматомизображения9 Jan 1977 г.1977 – 01 – 09Birthday*Место рождения:Управление описаниемполяУправление названиемполяПол: Муж. Жен.Client birthdayBirthday

Аннотации, связывание сущностейТелефонКлиентЗНАЧЕНИЯАТРИБУТЫЗНАЧЕНИЯАТРИБУТЫ10ИДЕНТИФИКАТОР7ТЕЛЕФОННЫЙ КОД СТРАНЫТЕЛЕФОННЫЙНОМЕР10495ТЕЛЕФОНННЫЙ КОД ГОРОДА+758-13-12ТЕЛЕФОННЫЙ НОМЕРМОБИЛЬНЫЙТИП ТЕЛЕФОННОГО НОМЕРАОтображаемое значение7 – 495 – 758 – 13 – 12

Аннотации, управление доступомОБЛАСТЬ ВИДИМОСТИКАНАЛ ПРОДАЖДОГОВОРКЛИЕНТТипМенеджерНомерДатаПродуктСуммаИмяОтчествоФамилияПолДата рожденияПаспортТелефонАдресОБЛАСТЬИЗМЕНЕНИЯ

Проверка соответствиятребованиям форматасерии паспортаАннотации, контроль вводаКлиент…Проверка соответствиятребованиям форматаномера паспорта112342Паспорт серия:123456Паспорт номер:Проверка наличиязаполненных данныхМосква, ул. Ленина, 12Адрес:me@me.comE-mail:Проверка правильности заполнения E-mail…

Управление ролямиРОЛЬ 1СущностиАтрибутыКлиентыПредставленияОграниченный набор клиентовПОЛЬЗОВАТЕЛЬДействияРОЛЬ 2РОЛЬ …

Базовые ролиРазработка механизмов интеграций данныхРазработка механизмов контроля качества данныхАДМИНИСТРАТОРРазработка модели данныхЛИЦЕНЗИРУЕМАЯ ДЕЯТЕЛЬНОСТЬРабота с основными данными используя APIВНЕШНИЕ СИСТЕМЫПОЛЬЗОВАТЕЛЬРабота с данными через порталПОЛЬЗОВАТЕЛЬ ПОРТАЛАПросмотр данных через портал

ДемонстрацияВозможности Talend MDM Studio по работе с моделями данных:СущностиАтрибутыАннотацииРоли

Организация доступа к даннымиИнструмент: Talend Web UI (портал)Возможности:Создание, редактирование, удаление клиентских данныхРабота с иерархиями записейо клиентахУправление пользователями

ПредставленияАтрибуты, входящие в результаты поискаТелефонСегментКонтактное лицоФ.И.О.Ограничение набора доступных записейСидоров С.С.ОСАГО+7 916 4008031Иванов И.И.Смирнов И.И.ОСАГОПетров П.П.+7 916 8004031Петров П.П.+7 916 3104080КАСКОСидоров И.И.Иванов И.И.Смирнов С.С.ДМС+7 916 8104031Атрибуты,входящие в условия поиска

Иерархии, группировкиФизические лицаФ.И.О.СегментОСАГОДМСКАСКОИванов Иван ИвановичПетров Петр ПетровичСмирнов Иван ИвановичИванов ИванИвановичОСАГОСидоров Сергей СергеевичПетров Петр ПетровичДМССмирнов Иван ИвановичКАСКОСидоров Сергей СергеевичОСАГО

Иерархии, взаимосвязиФизические лицаИванов И.И.Ф.И.О.Контактное лицоСидоров С.С.Иванов И.И.Сидоров С.С.Иванов И.И.Петров П.П.Смирнов И.И.Петров П.П.Смирнов И.И.Смирнов И.И.Петров П.П.Сидоров И.И.Петров П.П.Сидоров С.С.Иванов И.И.Смирнов С.С.Иванов И.И.Сидоров С.С.

Управление пользователямиАдминистраторыПОЛЬЗОВАТЕЛЬИдентификаторИмяФамилияE-mailСтатусВнешниесистемыИЛИПользователипорталаДополнительнонастраиваемые роли

ДемонстрацияДемонстрация Talend MDM Studio:Работа с представлениямиДемонстрация портала по работе с клиентскими данными Web UI:Просмотр данныхИерархииПользователи

Создание механизмов интеграции данныхИнструмент: Talend MDM StudioВозможности:Разработка механизмов выборки данных из операционных системРазработка механизмов трансформации данныхРазработка механизмов загрузки данных в MDM-CDI хранилище

Механизмы интеграции и контроля качестваРабота TalendРаботаКомпонентКомпонентJobletКомпонентВыходВходВход

КомпонентыКомпонентыБолее чем 450 доступных компонентов

60% разработаны сообществом пользователей Talend

Доступны в бесплатной версии

Проверены и поддерживаются TalendПринцип организации обмена даннымиМодель хранения данных в операционных системахМодель хранения в CDI-хранилищеТранспортная модельСправочникименКод ИмениКод ОтчестваКод ФамилииДата рожденияСерия ПаспортаНомер ПаспортаКод АдресаИмяФамилияОтчествоДата рожденияПолАдресПаспортИмяОтчествоФамилияДата рожденияПолПаспортАдресСправочник отчествСправочник фамилийСправочник адресовФИОДата рожденияАдресПаспорт

Выборка данных из источниковИнформационная системаТриггерыЗахватизмененийТАБЛИЦА ИЗМЕНЕНИЙТранспортнаямодельКлиентыИзменение 1CDCИзменение 2…CDI…Издательи подписчикОтправкаИзменений(Push)Чтение изменений(Push)Изменение 11…ПодписчикИздательChange Data Capturing (CDC)

Преобразование моделейМодель хранения в информационной системеКомпонентt MapТранспортная модельФИОПетров Петр ПетровичПОЛИМЯПетрДАТА РОЖДЕНИЯРазделение поляОТЧЕСТВОМужскойПетровичПетровФАМИЛИЯ01.01.1980Преобразование форматаПОЛМ01.01.1980ДАТА РОЖДЕНИЯФильтрация данныхДата рождения после 1970г.ФИООтклоненные данные(Дата рождения до 1970 г.)ДАТА РОЖДЕНИЯПОЛ

Преобразование моделейКомпонентt MapТранспортная модельМодель хранения в CDI-хранилищеИМЯКОД ИмениПетр146ФАМИЛИЯКОД ФамилииПетровОТЧЕСТВОКОД ОтчестваПетровичСправочники CDIИМЯ1ПетрКОДИМЯПЕРЕСЕЧЕНИЕ ДАННЫХЗаписине обнаруженныев справочникахОТЧЕСТВО4ПетровичКОДОТЧЕСТВОФАМИЛИЯ6ПетровКОДФАМИЛИЯ

Работа с данными в MDMЗапись данных в MDMЧтение данных из MDMУдаление данных из MDMПоиск данныхв MDMПолучение измененных данных в MDMПортал (TalendWeb UI)КОННЕКТОРЫСЕРВИСНЫЙ УРОВЕНЬХРАНИЛИЩЕВсего 8 компонентов

“Родословная” данныхCDI ХранилищеИМЯ ОТЧЕСТВОФАМИЛИЯИДЕНТИФИКАТОР10ИвановИвановичИванПерекодировочнаятаблицаИнформационная система 1Идентификатор CDI10ФИОИДЕНТИФИКАТОРИдентификатор UCI100100Иванов Иван Иванович200Идентификатор UC2Информационная система 2ИМЯ ОТЧЕСТВОФАМИЛИЯИДЕНТИФИКАТОР200ИвановИвановичИван

Принцип организации обмена даннымиМодель хранения данных в операционных системахМодель хранения в CDI-хранилищеТранспортная модельСправочникименКод ИмениКод ОтчестваКод ФамилииДата рожденияСерия ПаспортаНомер ПаспортаКод АдресаИмяФамилияОтчествоДата рожденияПолАдресПаспортИмяОтчествоФамилияДата рожденияПолПаспортАдресСправочник отчествСправочник фамилийСправочник адресовФИОДата рожденияАдресПаспорт

ДемонстрацияДемонстрация интеграционных работ:Выборка изменений (СDС)Преобразование данных в транспортный форматРабота с CDI-хранилищем

Выборка данных из MDMИзмененные данные в транспортном форматеМодельданныхTalendWeb UIИмяОтчествоФамилияДата рожденияПолПаспортАдресMDM-IDDB-IDХРАНИЛИЩЕИзменение данныхСЕРВИСНЫЙ УРОВЕНЬМЕНЕДЖЕР СОБЫТИЙПроцесс Шаг 1 Шаг 2 Шаг 3ИнтеграцияКонтроль качестваОповещениеWorkflowТриггер 1Триггер 2Триггер 3Триггер 4Триггер 5Работа TalendТриггеры

ДемонстрацияДемонстрация активной модели данныхАктивная модель данных (триггеры в MDM)Варианты использования триггеров.

Контроль качества данныхМодель храненияв CDI-хранилищеСправочникименТранспортнаямодельКод ИмениКод ОтчестваКод ФамилииДата рожденияСерия ПаспортаНомер ПаспортаКод АдресаСправочникиСправочник отчествПроверка полноты и корректности данныхПроверка наличия дубликатовЕсли необходимо подключить Data Stewards123ИмяОтчествоФамилияДата рожденияПолПаспортСправочник фамилийСправочник адресов

Проверка корректности данныхНормативно-справочная информацияМодель храненияв CDIКомпонентtRecordMatcherТранспортнаямодельКомпонентtRecordMatcherКод ИмениКод ОтчестваКод ФамилииКод АдресаИмяОтчествоФамилияАдресАдресаКодАдресИменаКодИмяОтчестваКодОтчествоФамилииКодФамилияМасква = Москва

Алгоритм поиска дубликатовКомпонентtRecordМatcherТранспортнаямодельCDI хранилищеИдентифицирующие атрибутыМетодсравненияВесовой коэффициентДистанция====11010Код имениТочно1011212Код отчестваТочно100,89ПетровПитровФамилияЛивенштейн1511234 56789 101234 56789 10ПаспортЛивенштейн20N∑(Дистанция х Весовой коэффициент )Результатсравнения10*1+10*1+0,89*15+20*11РЕЗУЛЬТАТ0,970,97==110+10+15+20Весовой коэффициент∑1Нижний порог0,75<НовыйДубликат>Верхний порог0,95Дубликат

Процесс надзора за даннымиОБНАРУЖЕНИЕ НЕКАЧЕСТВЕННЫХДАННЫХСОЗДАНИЕ ЗАДАЧИ В DSCНАЗНАЧЕНИЕ ЗАДАЧИ В DSCНА ИСПОЛНИТЕЛЯВЫПОЛНЕНИЕ ЗАДАЧИКонсоль надзора за данными (DSC)Data StewardРабота TalendРабота TalendОТПРАВКА ДАННЫХ В СИСТЕМУ ПОЛУЧАТЕЛЬ

Консоль надзора за даннымиНоваяПриоритетСтатусРешенияЗаблокированная(Star)ЗАДАЧАДубликатИсполнительКатегория (Tags)ПолнотаetcДействия выполненные над задачами: Поиск

РазделениеПринцип работы консолиОперационная система 1CDIхранилищеРезультатАтрибутыИмяИванИванИванОтчествоИвановичИвновичИвановичФамилияИвановИвoновИвановПаспорт1234 5678911234 5678911234 567891Решение принятоеData StewardИсходные данные

ДемонстрацияДемонстрация работ выполняющих проверку качества данныхДемонстрация консоли надзора за данными (DSC)

ДемонстрацияДемонстрация сквозного примера:Создание данных в операционных системах.Проверка качества данныхДобавление или редактирование данных в CDI-хранилищеИспользование консоли надзора за даннымиСообщение операционным системам глобального идентификатора

Операционное использование Системы работы с основными даннымиРабота TalendИнформационная системаПроверка качества данныхОтправка клиентских данныхВыполнение процесса надзора за даннымиВеб-портал(Talend Web UI)Сервисы работы с клиентскими даннымиЗагрузка данных в хранилищеПолучение клиентских данныхПотребитель/ПоставщикКонсоль надзора за данными(DSC)Чтение данных из хранилища

Организация сервисного слояРепозитарий работSOA ManagerВеб-Сервис 1Веб-Сервис 2Веб-Сервис 3TalendAdministratorTalendMDM StudioРазработчикАдминистратор

Требования к оборудованиюRAM: > 4 GBHDD: 100 GBRAM: 4 GBHDD: 10 GBTIS StudioTALENDMDM STUDIORAM: 2 GBHDD: 100 GBRAM: 4 GBHDD: 100 GBСервер работRAM: >4 GBHDD: 100 GBTalend Administration Center (TAC)Talend MDM ServerRAM: 2 GBHDD: 100 GBRAM: 4 GBHDD: 200 GBRAM: 2 GBHDD: 100 GBСервер работМетаданные (TAC)Activity Monitoring Console(журнал выполнения работ)База клиентских данныхМетаданные проектов (SVN)

Talend Data Quality - Customer Data Management platform

More Related Content

Similar to Talend Data Quality - Customer Data Management platform (20)

More from Максим Остархов (7)

Talend Data Quality - Customer Data Management platform