인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장
0 likes337 views
2017 데이터 그랜드 컨퍼런스 발표 자료
인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장
- 1. Copyrightⓒ2016 REALTIMETECH.co All right reserved The Leader of In-Memory DBMS 인메모리 DBMS 기반 보안 빅데이터 분석 솔루션 개발 사례 2017.11.07 한 혁
- 2. Copyrightⓒ2016 REALTIMETECH.co All right reserved 목차 2 1 IMDBMS 개요 2 IMDBMS 기반 보안 분석 솔루션 소개
- 3. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved 1. IMDBMS 개요 3
- 4. Copyrightⓒ2016 REALTIMETECH.co All right reserved4 ○ In Memory Computing(IMC) 1980: Memory $10,000/MB 2000: Memory $1/MB 2015: Memory $0.008/MB Time Memory Cost / Speed 1. IMDBMS 소개 ○ Hardware Advances: Moore’s Law - DRAM Pricing
- 5. Copyrightⓒ2016 REALTIMETECH.co All right reserved5 ○ In Memory Computing(IMC) Yes, DRAM is 100,000 times faster than disk, but DRAM access is still 6-200 times slower than on-chip caches100 NS CPU Core Core L1 Cache L1 Cache L2 Cache L2 Cache L3 Cache Main Memory Disk 0.5 NS 7.0 NS 15.0 NS SSD: 150K NS HD: 10M NS Ref: In-Memory Database Platform for Big Data, SAP HANA, 6/2013 ○ memory performance 1. IMDBMS 소개
- 6. Copyrightⓒ2016 REALTIMETECH.co All right reserved6 ○ In Memory Computing(IMC) ○ Hype Cycle for IMC 1. IMDBMS 소개
- 7. Copyrightⓒ2016 REALTIMETECH.co All right reserved7 ○ In Memory Computing(IMC) ○ IMC Technology’s progression Ref: Cognizant 20-20 insights. 11/2015 1. IMDBMS 소개
- 8. Copyrightⓒ2016 REALTIMETECH.co All right reserved8 ○ In Memory Computing(IMC) - SCM 기술 연계 기술/시장 분석 SCM : DRAM에 근접한 고성능 읽기/쓰기, 비휘발성, TB급 대용량 지원 으로 향후 SSD및 DISK를 대체하는 차세대 스토리지 기술 JEDEC 표준 : NVDIMM-N/F/P PCM/ReRAM vs Hybrid(DRAM+NADN) 3D XPoint ( 인텔마이크론, 미국 ) PCM 기반 SCM, ~ 512GB Capacity(2016 Storage Visions 시연) 중국 양산 공장 설립 추진, 2018년 말 상용화 HV vault ( 넷리스트, 미국 ) Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러 핵심특허 다수보유 삼성전자 투자( 270억원, 2015년 ), 2017년 상반기 시험용 Release 시사점 SCM & In-Memory DBMS SCM 기술검증 및 활용을 위한 킬러 솔루션 IMDBMS 시장확산의 걸림돌(용량,데이터 유실 우려) 해결을 위한 출구 기술 SCM 2022년 글로벌 서버의 약 27%가 SCM 장착(마이크론 예측) SCM 장착된 차세대 서버 아키텍처 기반의 컴퓨팅 환경/시장 대응 필요 메인 스토리지 패러다임 전환(DISK -> SCM/SSD, DISK는 백업 스토리지 ) IM-DBMS 아키텍처 대용량화를 위한 DB 원본 저장소 : DRAM->SCM DRAM/SCM/SSD 등 메모리 계층간 데이터 관리 8 4 0.2 1. IMDBMS 소개
- 9. Copyrightⓒ2016 REALTIMETECH.co All right reserved9 ○ IMDBMS ○ IMDBMS 구조 1. IMDBMS 소개
- 10. Copyrightⓒ2016 REALTIMETECH.co All right reserved10 ○ IMDBMS 1. IMDBMS 소개
- 11. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved 2. IMDBMS기반 보안 분석 솔루션 소개 11
- 12. Copyrightⓒ2016 REALTIMETECH.co All right reserved12 2. IMDBMS 기반 보안 분석 솔루션 소개 ○ 보안 빅데이터 분석 시스템 개요 보안 관제 시 생성되는 다양한 형태의 대용량 로그정보(Web, FTP, DB, 시스템 등)를 통합 분석하기 위한 데이터베이스 시스템 기반의 고성능 로그 분석 시스템 CASE 관리 패턴 관리 IT Vision 분석 도구 점증 분석 외부 연계 시각화 보고서 메타 정보 사용자 정보IT Vision 데이터 서버 패턴 연산 분석 SQL 로그 DB 패턴 매칭 검색 분석 대상 로그 파일 분석 SQL 처리 요청
- 13. Copyrightⓒ2016 REALTIMETECH.co All right reserved13 ○ 보안 빅데이터 분석 시스템 개요 침해사고 분석 대상 로그파일 크기 증가 및 이기종 로그 통합 분석 필요 ※ 웹하드와 같은 접속자가 많은 서비스의 경우, 1일 웹 로그 생성 크기는 텍스트 50G 수준 공격지 IP 기준 침투 경로를 추적해 나가는 기존 로그분석 방식으로는 다양한 대용량 로그에서 전체 공격 시나리오를 추출하는 데에 한계 발생 ※ 최근에는 공격자가 공격지 IP를 수시로 변경하며 침투 과정을 진행함 공격자 행위 추적을 공격지 IP 기반이 아닌 다양한 관점에서 쉽게 파악 및 추적 할 수 있는 기능 필요 개발 배경 침해사고 주요 IoC(공격지 IP, 해킹 경유지 VPN 대역, 침투 행위 패턴 등)를 기반으로 한 비정상 행위 패턴 추출 기능 지원 바이너리, 텍스트, XML 등 다양한 이기종 로그파일에 대한 포맷 변환 및 통합 로그 비교를 통해 타임라인 분석이 가능한 기능 지원 도출된침투지표에대한 연관적인분석정보(국가별,ip별,접속경로등통계)제공 인메모리 컴퓨팅 기반 고속 처리기술 사용을 통한 분석 시간 단축 (DB 구축+분석) 요구사항 2. IMDBMS 기반 보안 분석 솔루션 소개
- 14. Copyrightⓒ2016 REALTIMETECH.co All right reserved14 ○ 보안 빅데이터 분석 시스템 개요 CASE 생성 및 관리 기능 • Log 그룹/파일 생성 및 삭제 기능 • 로그 유형에 대한 사용자 지정 기능 분석 데이터베이스 구축 기능 • Web, FTP, DBMS 로그 적재 기능 • 분석 컴퓨터의 MFT, 레지스트리, 윈도우 이벤트 정보 입력 기능 공격자 패턴 매칭 및 정보 필터 기능 • 고성능 전문 검색 및 결과 저장 기능 • 컬럼 / 복합 필터링 기능, UTC 보정 기능 • 원본(로그) 시각화 기능 웹 로그 통계 분석 기능 • 보안 이슈 단위 별(Access, visitor, activity 등) 다양한 통계 분석 기능 • 각 통계 별 상호 연관 분석 기능 • Play back/forward 기능 • IP 국가 / 기관 매핑 기능 도구 관리 기능 • 메타 데이터 갱신 기능 • 사용자 생성 및 관리 기능 • 공격자 정보 / 공격 패턴 프로파일 관리 기능 • 분석 결과 파일(CSV, PDF, Excel, Text 등) Export 기능 시스템의 세부 기능 2. IMDBMS 기반 보안 분석 솔루션 소개
- 15. Copyrightⓒ2016 REALTIMETECH.co All right reserved15 ○ 보안 빅데이터 분석 시스템 개발 2. IMDBMS 기반 보안 분석 솔루션 소개
- 16. Copyrightⓒ2016 REALTIMETECH.co All right reserved16 ○ 보안 빅데이터 분석 시스템 개발 <관리용 테이블 ERD> <분석용 원본 테이블 ERD> <분석용 결과 및 UDT 테이블 ERD> <분석용 집계 및 플래그 테이블 ERD> 2. IMDBMS 기반 보안 분석 솔루션 소개
- 17. Copyrightⓒ2016 REALTIMETECH.co All right reserved17 ○ 보안 빅데이터 분석 시스템 개발 – 데이터베이스 관리 구조 2. IMDBMS 기반 보안 분석 솔루션 소개
- 18. Copyrightⓒ2016 REALTIMETECH.co All right reserved18 ○ 보안 빅데이터 분석 시스템 개발 – 주요 기능(1) CASE 관리 기능 로그 DB 적재 Case(사건)를 생성하고, 해당 Case에서 분석 되어야 할 로그들을 데이터 서버로 적재하여 분석 가능 상태를 구성 2. IMDBMS 기반 보안 분석 솔루션 소개
- 19. Copyrightⓒ2016 REALTIMETECH.co All right reserved19 ○ 보안 빅데이터 분석 시스템 개발 – 주요기능(2) <UTC 보정> <복합 필터 편집> <결과 내보내기> 패턴 분석 및 필터 일괄 적재된 로그 파일들을 각 로그 타입별로 패턴 분석 진행. 패턴 분석 기능은 플래그, UTC보정, 간편 필터, 복합 필터, 결과 내보내기 등의 부가 기능을 제공 2. IMDBMS 기반 보안 분석 솔루션 소개
- 20. Copyrightⓒ2016 REALTIMETECH.co All right reserved20 ○ 주요 기능 화면 구성(3/3) – 주요기능(3) Web 로그 통계 분석 Web 로그 연관 분석 일괄 적재된 WEB로그 파일들에 대한 통계 분석 진행 Access, Visitor, Referrer, Activity 분석을 지원하며, 다른 유형의 통계로 연관 분석 기능을 제공 2. IMDBMS 기반 보안 분석 솔루션 소개
- 21. Copyrightⓒ2016 REALTIMETECH.co All right reserved21 ○ 성능 평가 분 류 H/W 빅데이터 플랫폼 빅데이터 플랫폼 (Impala) OS : CentOS 인메모리 DBMS (Kairos) OS : Windows Server 2012 시험 환경 2. IMDBMS 기반 보안 분석 솔루션 소개
- 22. Copyrightⓒ2016 REALTIMETECH.co All right reserved22 ○ 성능 평가 데이터 업로드 성능 시험 조건 패턴 검색 성능 시험 조건 용량이 10G/20G/30G/40G/50G인 원본 데이터 파일 각각 에 대한 DB 적재 성능을 측정 검색 성능을 위해 Impala는 압축 포맷(Parquet) 변환 IMDBMS는 대용량 자료형 CLOB 컬럼에 10M 단위로 데 이터 적재 50G 용량의 원본 데이터 적재 후 각각 성능 측정 검색 키워드 크기(5 / 10 / 20 글자) 별 성능 측정 질의 유형 데이터베이스 솔루션 간 비교 SELECT COUNT(*) FROM source_tab WHERE text_field LIKE '% Google %'; 2. IMDBMS 기반 보안 분석 솔루션 소개
- 23. Copyrightⓒ2016 REALTIMETECH.co All right reserved23 ○ 성능 평가 – 패턴 검색 방식에 따른 비교( IMDBMS only) 2. IMDBMS 기반 보안 분석 솔루션 소개
- 24. Copyrightⓒ2016 REALTIMETECH.co All right reserved24 ○ 성능 평가 통계 질의 처리 성능 ( IMDBMS only ) *시험 데이터 : Web apache log 샘플 (20GB, 약 8천만 레코드, 원본 : 42개 로그 파일 ) 2. IMDBMS 기반 보안 분석 솔루션 소개
- 25. Copyrightⓒ2016 REALTIMETECH.co All right reserved25 2. IMDBMS 기반 보안 분석 솔루션 소개 ○ 마치며…
- 26. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved Thank you ! ☎ 연락처 기술 : 한 혁 연구소장(042-939-8811) 영업 : 이영기 상무이사(02-3487-8809)