Submit Search
TeraStream for ETL
3 likes
9,546 views
치민 최
ETL, ETCL
Technology
Read more
1 of 33
Download now
Downloaded 107 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Most read
15
16
17
18
19
20
21
Most read
22
23
24
25
26
27
28
29
30
31
Most read
32
33
More Related Content
PDF
디지털 트윈 플랫폼 기술과 사례(LX공사 특강)
SANGHEE SHIN
PDF
How to build massive service for advance
DaeMyung Kang
PDF
데이터가 흐르는 조직 만들기 - 마이리얼트립
승화 양
PPTX
금융It시스템의 이해 2편
Seong-Bok Lee
PPTX
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
승화 양
PDF
Massive service basic
DaeMyung Kang
PDF
스타트업 데이터분석 - 퍼널분석과 코호트분석
Seonggwan Lee
PPTX
REST API 설계
Terry Cho
디지털 트윈 플랫폼 기술과 사례(LX공사 특강)
SANGHEE SHIN
How to build massive service for advance
DaeMyung Kang
데이터가 흐르는 조직 만들기 - 마이리얼트립
승화 양
금융It시스템의 이해 2편
Seong-Bok Lee
실전 스타트업 데이터분석: 소셜데이팅 이음은 이렇게 한다
승화 양
Massive service basic
DaeMyung Kang
스타트업 데이터분석 - 퍼널분석과 코호트분석
Seonggwan Lee
REST API 설계
Terry Cho
What's hot
(20)
PDF
서비스 기획자를 위한 데이터분석 시작하기
승화 양
PDF
도메인 주도 설계의 본질
Young-Ho Cho
PDF
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
Seongyun Byeon
PDF
Data Engineering 101
DaeMyung Kang
PDF
고려대학교 컴퓨터학과 특강 - 대학생 때 알았더라면 좋았을 것들
Chris Ohk
PPTX
[DevGround] 린하게 구축하는 스타트업 데이터파이프라인
Jae Young Park
PDF
IBM with 서비스나우, IT운영관리 이젠 바뀔 때입니다.
Sejeong Kim 김세정
PDF
그로스 해킹 & 데이터 프로덕트 (Growth Hacking & Data Product) - 고넥터 고영혁 (Gonnector Dylan Ko)
Dylan Ko
PPTX
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
PDF
[236] 카카오의데이터파이프라인 윤도영
NAVER D2
PDF
서버학개론(백엔드 서버 개발자를 위한)
SU BO KIM
PDF
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유
Hyojun Jeon
PPTX
로그 기깔나게 잘 디자인하는 법
Jeongsang Baek
PDF
Cloud DW technology trends and considerations for enterprises to apply snowflake
SANG WON PARK
PDF
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Seongyun Byeon
PDF
인공지능추천시스템 airs개발기_모델링과시스템
NAVER D2
PDF
AWS Personalize 중심으로 살펴본 추천 시스템 원리와 구축
Sungmin Kim
PDF
[수정본] 우아한 객체지향
Young-Ho Cho
PPTX
Azure SecOps! Azure Key Vaultを用いたクラウドのキー管理
Yuki Hattori
PDF
개발자를 위한 (블로그) 글쓰기 intro
Seongyun Byeon
서비스 기획자를 위한 데이터분석 시작하기
승화 양
도메인 주도 설계의 본질
Young-Ho Cho
BigQuery의 모든 것(기획자, 마케터, 신입 데이터 분석가를 위한) 입문편
Seongyun Byeon
Data Engineering 101
DaeMyung Kang
고려대학교 컴퓨터학과 특강 - 대학생 때 알았더라면 좋았을 것들
Chris Ohk
[DevGround] 린하게 구축하는 스타트업 데이터파이프라인
Jae Young Park
IBM with 서비스나우, IT운영관리 이젠 바뀔 때입니다.
Sejeong Kim 김세정
그로스 해킹 & 데이터 프로덕트 (Growth Hacking & Data Product) - 고넥터 고영혁 (Gonnector Dylan Ko)
Dylan Ko
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
[236] 카카오의데이터파이프라인 윤도영
NAVER D2
서버학개론(백엔드 서버 개발자를 위한)
SU BO KIM
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유
Hyojun Jeon
로그 기깔나게 잘 디자인하는 법
Jeongsang Baek
Cloud DW technology trends and considerations for enterprises to apply snowflake
SANG WON PARK
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Seongyun Byeon
인공지능추천시스템 airs개발기_모델링과시스템
NAVER D2
AWS Personalize 중심으로 살펴본 추천 시스템 원리와 구축
Sungmin Kim
[수정본] 우아한 객체지향
Young-Ho Cho
Azure SecOps! Azure Key Vaultを用いたクラウドのキー管理
Yuki Hattori
개발자를 위한 (블로그) 글쓰기 intro
Seongyun Byeon
Ad
Viewers also liked
(20)
PDF
TeraStream - Data Integration/Migration/ETL/Batch Tool
DataStreams
PDF
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
PDF
Pentaho PDI
Joao Gutheil
PDF
Tera stream ETL
Nguyễn Nguyễn Mạnh Trung
PDF
모니터링이란 무엇인가(민성환)
여성환경연대
PDF
UNUS Big Data BEANs 소개서
영민 최
PPTX
Tera stream for datastreams
치민 최
PPTX
Zoss High-Level Text Analysis and Techniques
DukeDigitalScholarship
PDF
엔터프라이즈 환경의 데이터모델 관리 방안 By 엠바카데로 데브기어 2015.12.03
Devgear
PPTX
vertica_tmp_4.5
Hwang Andrew
DOCX
Penatho
chenvi123
PPT
Pentaho etl-tool
Sreenivas Kappala
PDF
제조/인프라산업의 서비스가상화 적용사례
Eugene Chung
PDF
호스트다운사이징 사업 위험 경감 방안으로 활용되는 서비스가상화
Eugene Chung
PDF
Hire Pentaho Developer | BI Tools
eLuminous Technologies Pvt. Ltd.
PDF
Big data on 제조 글로벌 제조사 품질 개선 사례-Dhan-kim-2013-7-2
Donghan Kim
PDF
Nifi workshop
Yifeng Jiang
PPTX
Hybrid & Logical Data Warehouse
Heungsoon Yang
PDF
DataStreams : Corporate Overview
DataStreams
PDF
Introduction to Apache NiFi And Storm
Jungtaek Lim
TeraStream - Data Integration/Migration/ETL/Batch Tool
DataStreams
Expanding Your Data Warehouse with Tajo
Matthew (정재화)
Pentaho PDI
Joao Gutheil
Tera stream ETL
Nguyễn Nguyễn Mạnh Trung
모니터링이란 무엇인가(민성환)
여성환경연대
UNUS Big Data BEANs 소개서
영민 최
Tera stream for datastreams
치민 최
Zoss High-Level Text Analysis and Techniques
DukeDigitalScholarship
엔터프라이즈 환경의 데이터모델 관리 방안 By 엠바카데로 데브기어 2015.12.03
Devgear
vertica_tmp_4.5
Hwang Andrew
Penatho
chenvi123
Pentaho etl-tool
Sreenivas Kappala
제조/인프라산업의 서비스가상화 적용사례
Eugene Chung
호스트다운사이징 사업 위험 경감 방안으로 활용되는 서비스가상화
Eugene Chung
Hire Pentaho Developer | BI Tools
eLuminous Technologies Pvt. Ltd.
Big data on 제조 글로벌 제조사 품질 개선 사례-Dhan-kim-2013-7-2
Donghan Kim
Nifi workshop
Yifeng Jiang
Hybrid & Logical Data Warehouse
Heungsoon Yang
DataStreams : Corporate Overview
DataStreams
Introduction to Apache NiFi And Storm
Jungtaek Lim
Ad
Similar to TeraStream for ETL
(20)
PDF
Microsoft dynamics erp for utilities 에너지 및 유틸리티 산업솔루션 소개
종수 (Steve Kim) 김
PDF
2015 besttechsystem-proposal(2015.04.21)
(주)베스트텍시스템
PDF
마이크로소프트 클라우드 Erp 서비스 nav 2013 소개 mice 산업(공연 전시 회의 엑스포)
Steve Kim
PDF
빅데이터 분석 시스템 도입과 AI 적용
BESPIN GLOBAL
PDF
Data discovery qlikview
choi3773
PPTX
빅데이터의 활용
SU BO KIM
PDF
저성장 시대 데이터 경제만이 살길이다
eungjin cho
PDF
기업성장을 이끄는 Microsoft dynamics erp 및 국내구축사례 소개 제조-20150202
Steve Kim
PPTX
(이융)Mb발표자료 최종 160516
융 이
PPTX
AWS Partner Techshift - (SaaS) 사업을 위한 데이터 기반 세일즈/마케팅 전략과 노하우 (트레져데이터 고영혁 수석)
Amazon Web Services Korea
PPTX
미국 IT기업 일하는 방식 및 미국진출 전략
Jinhee Lee
PDF
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
Metatron
PPT
3 7 건설정보화전략과pmis(이민남)
JiWoon Yi
PDF
마이크로소프트 클라우드 Erp 서비스 nav 2013 소개 공단 등 부동산관리산업
Steve Kim
PDF
Comapany info, About Inpion
Kilwoong Lee
PDF
AWS Finance Symposum_AWS 로 빅데이터 분석을 쉽고 간단하게 시작하기
Amazon Web Services Korea
PPT
QlikView ppt
Tomi Lee
PDF
Introduction of BizSpring Inc.
BizSpring Inc.
PPT
한일산업기술협력재단 제안서양식_2023일본 모노즈쿠리 DX 활용 제안서_0005.ppt
thjo2
PPTX
Andsome&Company
영직 윤
Microsoft dynamics erp for utilities 에너지 및 유틸리티 산업솔루션 소개
종수 (Steve Kim) 김
2015 besttechsystem-proposal(2015.04.21)
(주)베스트텍시스템
마이크로소프트 클라우드 Erp 서비스 nav 2013 소개 mice 산업(공연 전시 회의 엑스포)
Steve Kim
빅데이터 분석 시스템 도입과 AI 적용
BESPIN GLOBAL
Data discovery qlikview
choi3773
빅데이터의 활용
SU BO KIM
저성장 시대 데이터 경제만이 살길이다
eungjin cho
기업성장을 이끄는 Microsoft dynamics erp 및 국내구축사례 소개 제조-20150202
Steve Kim
(이융)Mb발표자료 최종 160516
융 이
AWS Partner Techshift - (SaaS) 사업을 위한 데이터 기반 세일즈/마케팅 전략과 노하우 (트레져데이터 고영혁 수석)
Amazon Web Services Korea
미국 IT기업 일하는 방식 및 미국진출 전략
Jinhee Lee
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
Metatron
3 7 건설정보화전략과pmis(이민남)
JiWoon Yi
마이크로소프트 클라우드 Erp 서비스 nav 2013 소개 공단 등 부동산관리산업
Steve Kim
Comapany info, About Inpion
Kilwoong Lee
AWS Finance Symposum_AWS 로 빅데이터 분석을 쉽고 간단하게 시작하기
Amazon Web Services Korea
QlikView ppt
Tomi Lee
Introduction of BizSpring Inc.
BizSpring Inc.
한일산업기술협력재단 제안서양식_2023일본 모노즈쿠리 DX 활용 제안서_0005.ppt
thjo2
Andsome&Company
영직 윤
TeraStream for ETL
1.
-1-
2.
회사 소개 데이터 통합
배경 및 필요성 Why TeraStream © 2012 DataStreams Corp. All Rights Reserved.
4.
회사 소개 :
개요 Company Profile 조직도 회사명 (주)데이터스트림즈 대표 데이터 통합(DI)/DW/ETL 솔루션 개발/구축/판매 실시간 및 디퍼드온라인 데이터처리솔루션(NRT) 개발/ 감사 고문 사업분야 구축/판매 데이터 표준화 컨설팅 기획관리부 영업본부 기술전략본부 연구소 메타데이터관리 및 품질 관리(DQ) 솔루션 개발/구축/판매 설립년도 2001년 09월19일 재경파트 영업1본부 컨설팅팀 DI팀 본사위치 서울시 서초구 서초동 1597-3 청호나이스 빌딩 6층 인사총무파트 영업2본부 PI팀 DQ팀 사원수 109명 년 매출액 120억 원 QA파트 기술지원팀 연락처 Tel) 02-3473-9075~78 Fax) 02-3473-9084 데이터스트림즈 제품군 기술자현황 DI 제품 DQ 제품 중급 Technology, 69% 24% 컨설팅, 11% 20 % 초급 고급 40% 관리, 9% % 18% 특급 영업, 8% % 18% 기타, 2% % * 2012년 07월 현재 -4- © 2012 DataStreams Corp. All Rights Reserved.
5.
회사 소개 :
주요 History & 수상 내역 데이터 분야 확장 . 시장 우위 발전 . 확장 01 통계청 원시자료 제공 시스템 업무혁신 사례상 수상 2011 09 신한 카드 전사 ETCL 제품 선정 06 우수 제조 기술 연구센터 (ATC, Advanced 2004 04 중소기업 기술 혁신 개발 사업자 선정(중소기업청) Technology Center) 지정 08 TeraStream 상표등록(등록번호 0589927) 12 신한은행 차세대 데이터이행 툴로 TeraStream선정등록 2010 01 MetaStream Version 2.7 출시 03 한국소프트웨어전문기업협회 회장 이영상대표 선출 04 2004년 중소기업 기술혁신 개발사업자 선정 12 하반기 TeraStream™ Version 3.2 출시예정 2003 08 외환은행 ETL/Batch/이행표준툴로 TeraStream선정 06 전국은행 연합회 데이터 처리 툴로 선정 09 데이터 추출솔루션 'FACT' 해외수출계약(미국) 2009 09 국방부 지휘통신사령부 통합 메타(MDR)구축부문 10 Oracle Open World 2003 in San Francisco, USA 사업자선정 TeraStream의 FACT 엔진 출품 10 대구은행, 부산은행 차세대, 국회사무처 사업수주 01 TeraStream™ 상표 출원 2002 2008 02 TeraStream™ Version 2.2 GS 인증 획득 03 ' (주)데이터스트림즈'로 사명변경 05 TeraStream Designer™ Version 1.1 출시 11 정보화촉진자금 지원업체 선정 12 TeraStream V1.0 최초계약(통계청 데이터 이행용) 기술 . 연구 개발의 중점 설립 . 개척 05 MetaStream 디지털경영혁신대상 중소기업청장 우수상 2007 06 TeraStream™ Version 2.0 출시 01 e-Business Solution Fair@World 2001 참가 10 일본 노무라 계열 JAFCO사 4억엔 투자 유치 2001 02 이노베이티브데이터솔루션즈(주) 부설연구소 인가 06 TeraStream Beta Version 출시 04 05년 통계청 인구주택총조사 민간분야 부총리 포상 수상 07 SEK2002 초고속배치솔루션으로 TeraStream 출시 2006 12 중소기업기술혁신협회(이노비즈협회) 회원 자격 취득 08 TeraStream Designer™ 프로그램 등록 행정자치부 시도행정 정책결정지원시스템 ETL표준 툴 선정 09 (주)이노베이티브데이터솔루션즈(IDS)설립 12 중소기업청 벤처기업확인 인정 03 TeraStream™ 05년 대한민국디지털경쟁력대상 2005 디지털기술 부문 우수상 수상 TeraStream™모듈 산업자원부 한국신기술인증 획득 2000 01 DW프로젝트 최초로 CoSort 성공적 적용(GS리테일) 11 TeraStream™ Version 1.4 GS 인증 획득 1999 09 CoSort Korea설립 -5- © 2012 DataStreams Corp. All Rights Reserved.
6.
주요 사업 영역
Service 01 CONSULTING 0 3 서비스 지원 ISP (Information Strategy Planning) 24x365 제품 서비스 지원 데이터 통합, 데이터 표준화 컨설팅 데이터 품질 관리 컨설팅 CONSULTING 유지보수 서비스 지원 데이터 아키텍처, EDW 컨설팅 시스템 개발, 통합 및 운영 데이터 이행(Migration) 컨설팅 마스터 데이터 관리(MDM) 컨설팅 Development 02 데이터 통합 제품 군 04 Development Product TeraStream – ETCL / 이행 / Batch 툴 DeltaStream – CDC 툴 TeraSort – Sorting 툴 FACT – Unloading 툴 BI 기술 연구 MetaStream – 데이터 표준화 관리 상품 / 패키지 개발 ImpactStream – 어플리케이션 영향도 분석 데이터 통함을 위한 처리 및 관리 기술 개발 -6- © 2012 DataStreams Corp. All Rights Reserved.
7.
우수 제조기술 연구
센터(ATC, Advanced Technology Center ) ㈜데이터스트림즈는 기술 경쟁력과 세계적 일류 상품으로써의 잠재력 및 제품의 우수성을 인정받아, SW 전문 업체 최초로 2011년 지식경제부에서 선정하는 우수 제조기술 연구센터로 지정되어, 제품에 대한 연구 개발 역량을 강화하고, 기술력을 바탕으로 한 글로벌 기업으로서 거듭날 수 있는 발판을 마련하였습니다. ATC 사업명: 실시간 모니터링과 통제기반의 통합데이터 관리를 위한 데이터 통합(DI) 및 데이터 품질(DQ) 컨버전스 솔루션 개발 지정 년도 : 2011.6 사업 기간 : 2011.6~2016.5(5년간) -7- © 2012 DataStreams Corp. All Rights Reserved.
8.
레퍼런스
은행 보험 증권 카드/ 공금융 공공/ 학교 통신 제조/ 서비스 -8- © 2012 DataStreams Corp. All Rights Reserved.
9.
데이터 통합 정의 데이터
통합 배경 데이터 통합 필요성 © 2012 DataStreams Corp. All Rights Reserved.
10.
데이터 통합 정의
데이터 통합은 기업 내 다양한 시스템을 통해 데이터를 수집하여, 가치 있고 재사용 가능한 정보 즉 '통합된 데이터'가 되도록 만들어주는 조직적이고 지속적인 과정 Data Integration 다양한 시스템의 분석/설계 개발/배포 통합된 데이터 데이터 Extract Transform Cleansing Load 추출 변형 정제 적재 Connectivity 모니터링/ 분석 실행 - 10 - © 2012 DataStreams Corp. All Rights Reserved.
11.
데이터 통합 배경
: 데이터 통합 발생 원인 기업이 직면한 비즈니스, IT 및 폭발적 데이터 증가 이슈로 인해 기업의 데이터 통합 필요성 발생 비즈니스 이슈 폭발적 데이터 증가 이슈 IT 이슈 Globalization 향후 5년간 기업 데이터 데이터의 접근성 결여 기업인수 및 합병 수요가 650% 증가할 것 데이터 공급의 적시성 결여 각종 Compliance & Audit 시스템에 분산된 데이터 고객 유치 및 이탈방지 Gartner Data Center Conference, 2009년12월 01일 - 11 - © 2012 DataStreams Corp. All Rights Reserved.
12.
데이터 통합 필요성
: 데이터 통합 솔루션 데이터 관리의 중요성이 증가하고, 각종 이슈로 인한 데이터 통합의 필요성이 증대됨에 따라 데이터 통합을 위한 솔루션이 필요해짐 데이터 비즈니스 IT 증가 비즈니스 측면에서의 폭발적 데이터 증가로 인한 IT적인 측면에서의 데이터 통합 데이터 통합 데이터 통합 데이터 통합 솔루션 ? TeraStream 비즈니스 최적화 비용 절감 데이터의 통합 기업핵심데이터 증가하는 정보 사용량과 (고객, 벤더, 제품 등)에 정보를 관리하는 대한 Single view를 생성 데이터 통합으로 비용에 대한 효율적인 대처 필요 전사시스템에 일관되고 인터페이스간소화 및 포괄적인 정보 제공 유지보수 용이성 확보 - 12 - © 2012 DataStreams Corp. All Rights Reserved.
13.
TeraStream 개요 차별화 기능 제품의
특장점 풍부한 구축 사례 구축 효과 © 2012 DataStreams Corp. All Rights Reserved.
14.
TeraStream 개요 (1/2)
다양한 서버환경에서 소스데이터를 빠르게 가공 처리하는 솔루션으로 ETL, Batch , 실시간 데이터 처리 연계, 데이터 전환 업무 수행 File 신시스템 변환 Database Unload Load DB Data 변환 Cleansing Database File Extract Transform / Cleansing Load (추출) (변환 / 정제) (적재) File Batch 고속 추출 엔진(FACT)을 이용한 File 및 DB 가공처리 및 Load 모듈을 이용하여 DB로 적재 데이터 추출 데이터 정제 [상용 DBMS의 자동 Load 모듈 생성 [다양한 SQL 쿼리문 적용] [정렬, 컨버젼, 조인 연산 등 적용] 및 각종 옵션 적용] - 14 - © 2012 DataStreams Corp. All Rights Reserved.
15.
TeraStream 개요 (2/2)
– 제품 구성도 Sort 엔진 및 고속 추출 엔진(FACT)을 Batch엔진으로 채택하였으며, 모든 메타데이터는 TeraStream Repository에 저장 관리 User Interface User Interface • 개발자의 직관적인 업무처리를 위한 GUI환경 TeraStream Designer Operations & Administration • 블록 , 프로젝트에 관련한 각종 로그 관리 Operations & Administration • 작업 예약 스케쥴링 • 실시간 작업 성공유무 및 작업건수 등 모니터링 Data Log Project FFD Process Message • 연결 DB정보 관리 및 접속 권한 체크 Access Monitor Manager Scheduler Manager Manager Manager Broker Data Processing Data Processing • 이기종 DB(상용 RDSMS)간의 데이터 고속 추출 • 데이터 변환 기능 및 한글 컨버젼 기능 제공 FACT CoSORT Converter USQL 외부명령어 사용자SCL • 파일을 이용한 정렬 및 조인 등 다양한 기능 제공 Metadata Management Metadata Management TeraStream • TeraStream을 이용한 모든 맵핑 작업을 Repository TeraStream Repository에 저장 • Metadata 재활용 지원 - 15 - © 2012 DataStreams Corp. All Rights Reserved.
16.
뛰어난 성능 :
차별화 기능 국산 제품으로 기존의 데이터 통합 솔루션과 차별화된 File 처리 성능을 보장하고 대용량 데이터를 고속으로 처리함 차별 기능 기능상세 Sort 엔진 Sort 엔진 탑재를 통한 최상의 성능 달성 대용량 데이터 DBMS의 특성에 따라 테이블에 대한 대용량 데이터 고속 추출 고속 추출 고속 Lookup 처리 테이블뿐 아니라 메모리를 이용한 대용량 데이터 고속 Lookup 처리 File을 이용한 Job중심의 작업컨트롤 방식으로 File을 이용한 데이터 공유(EBH주1)용이 데이터 공유 실시간으로 복잡한 로직 및 매핑처리 가능 Near Real time ETL (자사 CDC 솔루션인 DeltaStream 또는 Tera-NRT와 연계) Programmable 매핑 전/후 처리를 통해 Record 또는 테이블 단위로 다양한 업무로직 처 Macro 리가 가능하며 검증 수행 연계 기능 원격에 위치한 TeraStream 서버간 연계로 원격으로 프로젝트 실행 - 16 - © 2012 DataStreams Corp. All Rights Reserved.
17.
뛰어난 성능 :
제품 특장점 TeraStream은 고속 추출엔진(FACT)과 Sorting엔진을 탑재하여 데이터 가공의 성능을 향상시키고, 효율적인 시스템의 자원 이용으로 부하를 최소화함 특장점 설명 • 대용량 데이터 고속 추출 성능 향상 • File 처리 방식으로 대량의 ETL 작업을 빠른 시간 처리 • 병렬 프로세싱을 통한 데이터 가공으로 작업 속도 향상 효율적 자원 • DB와 분리된 시스템자원 이용으로 DB부하 감소 • On-Line DB 작업시 자원에 부하를 주지 않고 Batch작업 가능 이용 • CPU, Memory, I/O의 효율적인 자원 할당 가능 • 통합 GUI 환경을 제공하므로 프로그램이 개발 편리 작업 생산성 향상 • 스크립트를 이용하여 타 프로그램에서 Sort 엔진, 고속 추출 엔진(FACT)실행 • SQL개발자의 개발생산성 향상으로 개발비용절감과 품질 상향 평준화 • 로직 강화로, ETL외 업무 영역 확대 기능 향상 • 준 실시간 데이터 이동 (Tera-NRT와 연계) 통합관리 환경 • TeraStream이 설치된 서버간의 분산 스케쥴링 및 통합 스케쥴링 지원 지원 • 분산된 데이터 통합 솔루션 환경에서 통합 Metadata 관리 지원 호환성 • 응용 프로그램, ETL, EAI 솔루션과 호환 - 17 - © 2012 DataStreams Corp. All Rights Reserved.
18.
뛰어난 성능 :
제품 특장점 << 효율적 자원 이용 메모리와 I/O를 균형 있게 사용하여 서버에 부하를 줄이고 Sort엔진을 이용하여 DB에 부하 감소 TeraStream 자원 구성 개요 Main Memory TeraStream 처리 방식 (File방식과 DB2DB방식) 시스템 메모리와 I/O를 균형 있게 사용한 데이터 처리방식 Application Work Memory I/O처리 및 Merge 알고리즘이 뛰어남 Free 영역 (상용DBMS 사용) 병목현상이 발생하는 작업(Sort, Merge, Summary)에 병렬 적용하여 작업 처리 속도 (TeraStream 사용) 향상 I/O I/O • TeraStream은 상용DBMS 및 타제품에 비해 Channel Disk I/O Channel 속도 및 자원 소모가 매우 적게 설계되었고, 강력한 Sort엔진을 탑재하여 효율적으로 대용량 데이터 처리 File DB • 대용량 데이터 처리시 DBMS의 의존도를 낮추는 것이 효율 및 생산성 향상에 유리하며, 소량의 데이터 처리시에는 DBMS의 성능을 File 방식 DB2DB 방식 이용하여 시스템 부하를 낮추고 성능 향상 • I/O처리 방식 이용 • 메모리처리 방식 이용 • 메모리를 적게 사용 • 소량 데이터 처리 방식 • 대량 데이터 처리 방식 - 18 - © 2012 DataStreams Corp. All Rights Reserved.
19.
뛰어난 성능 :
제품특장점 << 작업 생산성 향상 통합 GUI환경에서 데이터 통합 Life Cycle(개발, 실행, 모니터링, 검증)을 지원하여 개발 생산성 향상 개발 환경 화면의 평면화 및 작업 동선의 획기적인 개선 TeraStream 전체 화면 주요 기능 직관적인 작업Flow 직관적 작업Flow JOB 실행로그 작업 스케쥴링 • 개발자를 위한 직관적 GUI환경 제공 JOB 실행로그 • 표준출력/표준에러/출력파일정보/ 파일처리건수 정보 확인 작업 모니터링 • 작업현황을 실시간으로 제공 작업 스케쥴링 • 특정시간/특정간격/특정주기별로 스케쥴링 편집창 편집창 • 블록별 작업내용을 한 화면에서 편집 가능 작업 모니터링 © 2012 DataStreams Corp. All Rights Reserved.
20.
뛰어난 성능 :
주요기능 << 고속 데이터 추출 SQLCLI를 사용한 상용 데이터베이스의 데이터 고속 추출 기능 제공 일반적인 추출방식(쿼리)보다 20~30배 빠른 성능 보유 TeraStream 추출 화면 주요 기능 데이터베이스 API를 최적화한 고속 추출 엔진(FACT) 탑재 지원 데이터베이스 - Oracle - Informix - DB2 UDB - Sybase IQ - Sybase ASE - Altibase - MSSQL - Teradata등 File 분할 추출 및 필터링 기능 제공 Time 및 Timestamp 사용자 데이터 포맷 지정 조회(Select)화면 - 20 - © 2012 DataStreams Corp. All Rights Reserved.
21.
뛰어난 성능 :
주요기능 << 데이터 변환 Source data와 Target data 간의 매핑 정의를 통한 데이터 변환 기능 매핑 정의시 다양한 변환 함수 사용 가능 TeraStream 데이터 변환 화면 주요 기능 CALLED_NO 함수 편집창 컨버터 블록을 통한 직관적인 데이터 변환 매핑 정의 EBCDIC 대 ASCII 변환을 포함한 데이터 addday(cdate("2005/05/12 12:08:24", "YYYY/HH/DD HH:MI:SS"),2) 코드셋 변환 지원 =addday(cdate("변환할String","변환포맷","변환값(N)") 9BIT(NDB), HDB 형태의 데이터를 RDB 제공 함수 LIST 형태의 데이터로 변환 지원 문자열 함수, 수식 연산 함수를 포함한 다양한 내장함수 지원 사용자가 직접 함수 추가 가능 - 21 - © 2012 DataStreams Corp. All Rights Reserved.
22.
뛰어난 성능 :
주요기능 << 데이터 적재 File to DB 혹은 DB to DB 방식의 데이터 적재 Bulk Load 적재 화면 DB To DB 화면 적재스크립트 주요 기능 주요 기능 로드 블록을 사용한 일괄적재 컨버터 블록을 사용한 DB to DB 혹은 File to DB 방식 적재 데이터베이스 고유의 적재 도구 사용 맵핑 정의 및 Merge, Delete / Insert 등 적재도구 별 옵션 사용 다양한 DB 작업지원 적재 스크립트 자동 생성 - 22 - © 2012 DataStreams Corp. All Rights Reserved.
23.
편의성 : 주요기능
<< Web Monitoring 웹브라우저를 통해 Dashboard형태로 프로젝트 실행 결과 실시간 모니터링 제공 Web Monitoring 주요 기능 Dashboard기능을 이용하여 ETCL 전체 진행 상황을 직관적으로 파악하도록 구성 하였다. 작업 진행 상황 및 오류 발생 시 이벤트 발생 대상 테이블 관리를 통한 컬럼별 형상 관리 기능 제공 - 23 - © 2012 DataStreams Corp. All Rights Reserved.
24.
편의성 : 주요기능
<< 예약 실행 기능 년/월/일, 시/분/초 단위의 예약 실행 기능을 통하여 ETCL 프로그램을 자동 실행 한다. 외부 스케줄링과의 연계 기능 제공 예약 실행 주요 기능 예약 실행 기능을 통한 년/월/일/시/분/ 초 단위 예약 기능 제공 특정 시간 지정 기능 제공 프로젝트간의 선/후행 관계 지원 기준 시간 단위 실행 및 반복 실행 제공 - 24 - © 2012 DataStreams Corp. All Rights Reserved.
25.
편의성 : 주요기능
<< 1:1 자동 매핑 기능 Excel 1:1 매핑 자동 정의 기능을 이용한 ETL 프로그램 자동 매핑 기능 추출/가공/적재 부분에 대해서 1:1 자동 적재 기능 생성 1:1 자동 매핑 주요 기능 단순 1:1 프로그램 일괄 생성 외부 시스템과의 연동 기능 Excel 포맷에 맞춰 일괄 프로젝트 생성 기능 - 25 - © 2012 DataStreams Corp. All Rights Reserved.
26.
편의성 : 주요기능
<< Excel 내보내기 가공 및 변환 데이터 Excel 추출 기능 서버 생성 데이터 File 보기 기능 Excel 내보내기 주요 기능 단계별 중간 검증 기능 생성 파일 Excel 추출 기능 컬럼 및 데이터 정보 생성 - 26 - © 2012 DataStreams Corp. All Rights Reserved.
27.
편의성 : 주요기능
<< 컬럼 영향도 분석 원천 테이블과 목적 테이블간의 테이블 컬럼 이력 변경 조회 컬럼 추가/삭제 및 PK 여부 등 점검 컬럼 변경 이력 조회 주요 기능 이력 조회를 통한 컬럼 변경 정보 조회 기능 조회 목록 Excel 추출 기능 - 27 - © 2012 DataStreams Corp. All Rights Reserved.
28.
풍부한 구축사례 TeraStream
은 ETL 시장 및 Migration 시장에서 높은 점유율로 많은 구축 사례 보유 5% 5% 15% 15% ETL Migration 55% 25% 80% TeraStream D제품 I제품 Other - 28 - © 2012 DataStreams Corp. All Rights Reserved.
29.
풍부한 구축사례 :
삼성 전자 바다 프로젝트 독일과 중국 사이의 Direct 망이 없는 관계로 Network 성능이 안 좋음 이러한 문제를 해결 하기 도입 효과 위하여 NRT (Near Real Time) 형식으로 프로젝트 구축 고객사 이슈 시스템 구성도 독일과 중국 사이의 데이터 정합성 방안 양방향 데이터 정합성 확보 독일 Network 성능 문제로 인하여 변경 데이터 처리 지연 문제 처리 방안 Commerce Billing Social Device Search Contents 적용방안 Location 매 20분 마다 Analysis 변경 데이터 수행 • ETCL 예약 실행 기능을 통하여 매 20분 마다 변경 데이터 반영 양방향 데이터 검증 • Delete 발생 데이터는 1일 배치 작업으로 수행 • 장애 발생 시 자동으로 데이터 정합성 보장 중국 (최종 변경 일시 파일 보관) • 변경 대상 테이블 약 150개 Commerce Billing Social Device Search Contents Analysis Location - 29 - © 2012 DataStreams Corp. All Rights Reserved.
30.
풍부한 구축 사례
: 외환은행 계정계, 정보계 데이터 처리 • 정보계 DW Batch를 6시간 내 수행하였으며, 동시에 DM(Data Mart)로 적재 도입 효과 • 현 ODW, 신 ODW, EDW간 쌍방향 ETL 지원 • 다양한 비즈니스 로직을 적용한 데이터 처리, 데이터 통합 전 영역에 사용 고객사 이슈 시스템 구성도 메인프레임 및 IMS HDB의 컨버젼 필요 계정계 정보계 DW 2005년 2월 Open ETL의 쌍방향 처리 현 ODW 대용량 데이터의 Batch 시간 내 처리 Batch 쌍방향 ETL 적용 방안 ETL ETL 메인프레임 데이터를 UNIX환경의 데이터로 전환 Batch Batch 24시 - 데이터 사이즈 : 1~1.5TB DB SPLIT ETL 한글 변환 등 다양한 데이터 변환 및 가공 지원 추출 EDW 계정계 Batch, EDW ETL, 정보계 ETL과 Batch수행 Sybase ASIQ 신 ODW - 계정계에서 신 ODW로 일 변경분 데이터 200GB, ORACLE 추출 후 1시간30분 내 전환 FTP 전송 EDW서버(데이터 HUB)를 통해 DM&Sub System과 ETL 신 DM & Sub System 정보계에서 여러 Mart로 데이터 가공, 전달 (EUC, KPI, RISK Management, IFRS, BaselⅡ) Batch Profit Management RISK KPI EUC - 30 - © 2012 DataStreams Corp. All Rights Reserved.
31.
풍부한 구축사례 :
기업은행 정보계 차세대구축 프로젝트 • ODS 및 DW구축으로 인한 경영정보 시스템에 요구되는 데이터 확보 도입 효과 • 종합수익/성과/바젤II/영업실적포탈로 제공되는 계정계/계정서버와의 복잡한 인터페이스를 EDW를 중심으로 하는 종합보고서 시스템 구축 고객사 이슈 시스템 구성도 경영정보 시스템에서 요구되는 데이터 충분성 확보를 위하여 경영정보 ODS & DW 필요 계정계 시스템 실시간 ODS 시스템 Bank DB/AS-IS DW에 적재되어 있는 과거데이터 이행 DW 차세대 후처리ODS 통합CRM 현행 종합수익/성과/바젤II/영업실적포탈로 제공되는 계정계/ 영업점 실시간 분석 계정서버와의 복잡한 인터페이스를 위한 단위마트 시스템 영업실적포털 상품 조직 계약 실시간 I/F 환원 속보 수신 집계 필요 계약 고객 디퍼드 직원실적 예보 고객 정보 영업정보 수신 정산 재무일계 관리 마케팅 고객 공통 E 여신 T 현행 전산자료출력, 각종 보고서 통합을 위한 분석마트 필요 여신 상품관리 계약 경영 정보 재무 기타업무 L 종합수익관리 상품 리스크관리 자동화기기 외환 재무회계 거래 요약집계 조직 대행 공통 Staging 성과관리 신용카드 전자금융 복제 Feedback 적용방안 원가결산 기타계정배치 운영리스크관리 콜센터/폰뱅킹 WMS DM 감사정보 계정계 DB(M/F DB2)에 전송하는 EBCDIC데이터를 Rule 배치 I/F 점질분석 TeraStream의 변환 기능을 이용하여 Staging DB구축 인터넷 계정계 서버시스템 분석마트 단위업무 OLAP/Reporting Bank DB/AS-IS DW에 적재되어 있는 과거데이터 리모트 추출 Extract 마트 정형분석 수신 성과 (FACT)을 통한 DW 이행, AS-IS(계정계) 추출 시 약 2Tbyte Transformation 고객 비정형분석 모바일 여신 대량 데이터에 대한 CDC (Change Data Capture: 일중 수시 신용카드 방카슈량스 Cleansing 마케팅 실적 수익 Query Tool 여신종합 국외전산 추출) 적용을 TeraStream으로 구축하여 이행시간 단축 보고서 리스크 비정형조회 비정형보고서 외환시스템 자본시장 Loading 단위마트,분석마트 이행 시 이행시간 단축 예산/자산관리 인사 대외기관 계정데이터 이행, DW, 단위마트, 분석마트의 정기 Batch 작업 •은행연합회 시간 단축 •한국신용평가 •한국신용정보 데이터 품질 관리 메타데이터관리 데이터 관리 Infra 통합 스케줄링 - 일일 배치 데이터사이즈는 200Gbyte •증권거래소 - 31 - © 2012 DataStreams Corp. All Rights Reserved.
32.
획기적인 비용절감 :
운영 및 관리 비용 절감 TeraStream으로 운영.관리할 때 In-house방식보다 운영 및 관리 비용 보다 20%이상 절감할 수 있음 로그 및 운영/관리 모니터링 In-house방식 비용 제공 운영가이드 제공 TeraStream 시간 개발 도구 운영적 측면 관리적 측면 신규 또는 유지보수 개발시 가이드에 의한 TeraStream 로그 및 모니터링을 제공함으로 관리에 어려움이 없음 개발 가능 개발사상이 다르므로, 기존 업무 부분에 대한 개발당시 로그 및 모니터링을 개발자가 제공하지 않을 In-house 방식 가이드만으로는 적용 불가능 경우 관리가 어려움 새로운 가이드에 따른 추가 비용 발생됨 개발변경 시 재개발해야 함으로 불필요한 비용 발생 - 32 - © 2012 DataStreams Corp. All Rights Reserved.
Download