How to prevent cyber attack with big data & intelligence(sfis170222)
1 like335 views
How to use Big data and Intelligence for collecting, analyzing and responding to Cyber Threat.
How to prevent cyber attack with big data & intelligence(sfis170222)
- 4. What makes “Big” data ? “What makes most big data big is repeated observations over time” (ACM)
- 5. “Big” data vs “Normal” data Big Data isn’t any different to normal data, But It combines unstructured & multi-structured data Unstructured data is not organized or easily interpreted by traditional methods. Usually text heavy. Multi-structured data is a variety of data formats and types and can be derived from interactions between people and machine.
- 6. Infrastructure *Big data Analytics *Intelligence Application 어떤 목적으로 어떤 영역에? 어떻게 Processing할 것인가? 어떻게 Construct할 것인가? Sales, Marketing, CRM, HR, 광고, 보안, Finance, 교육 … Search, NPL, AI, Social Analytics, Visualization, Data Science, Analytics platform, … Hadoop, Spark, NoSQL, NewSQL, Graph DB, Management, Storage, …. Concerns about Big data
- 7. Big Data Infrastructure = Still Plenty of Innovation Big Data Analytics = Now with AI Big Data Applications = A Real Acceleration Big data technology is in deployment phase ( But, still hard work )
- 9. Logs Events Alerts Configuration information System audit trails External threat feeds Network flows and anomalies Identity context Malware information Full packet and DNS captures E-mail and social activityBusiness process data 전통적 보안 운영과 기술 Big Data Analytics Facing the challenges of cyber security, IBM Big Data in cyber security
- 10. Security 에서 모든 Data는 연관성이 있습니다. = Big Data Security context
- 14. Needs of big data tech. in security
- 16. 대응 프로세스 분석 운영 로그수집 1세대 – ESM 수집로그단일분석 2세대 –SIEM 이기종 상관분석 3세대 – Platform 다양한기술/프로그램 이슈사항 Time 보안 솔루션 소규모 Data 단일 장비 단시간 Workflow IT기기 - 정형 Big Data 복합 장비 장시간 비정형 – Big Data NMS NMS 탐지 정책 자동 탐지 자동 대응 BPM I-DB Deep Learning 운영 정책 생성/ 변경/삭제 관리 자동 격리 자동 치료 Rule DB Vul Scan 1 1세대 ESM • Data 처리 성능 이슈 • 연동 Device 한계 • 상관분석 처리 부족 • 프로세스 미반영 2 2세대 SIEM • Rule 관리 어려움 • 자산기반 상관분석 부족 • 프로세스 변경 한계 • 공격 판정 시 리소스 과다 • 솔루션 운영 기능 부족 • 대응 관점 기능 제외 영역확장 Managed Security Tools
- 17. Operation-NMS Knowledge Integration KNOWLEDGE Response ANALYTICS SIEM Automation Intelligence Big Data Engine – Scale Out DetectionScenario Rule Threat Intelligence Normalization MSS Process - BPM Prevention Report MSS Know-How Asset/Vul Info Complex Event Process Machine Learning Workflow Ticketing Incident Management Big Data based Managed Security
- 18. 1)Flume: 원본 Data 수집 Agent 2) Kafka: 분산 메시지 Queue 3) Spark 실시간분산처리엔진 4) Drools: Complex Event Processing 엔진(Rule엔진) 5) Hadoop File System: Hadoop 분산파일시스템 6)MapR-DB: Hbase 기반 NoSQL DB 7) Elasticsearch: 검색 엔진 Event Collector1) 원본 Event Queue2) 실시간 분석3) 1st 1)정규화 2) BlackIP/URL 저장 Queue 2nd (정규화된 로그 저장) Snmptrap Syslog 대상장비 Data 수집/분석 실시간 분석 2nd (실시간 탐지) CEP 분석4) (복합 분석/탐지) DBMS (탐지결과 저장) 분산파일 저장 시스템5) (보고서 /로그저장) Data 저장 분산 검색7) (단기 로그 저장 및 검색) 실시간 처리 3nd - 저장 Data View Dashboard 통합관제화면 Rule 엔진 질의 질의 질의 탐지 결과 저장 정규화 로그 저장 FW IDS WAF DDoS APT Nagios (장애 탐지) Security Infrastructure ( Big Data)
- 19. 탐지규칙 ( Detecting Rule ) - hreshold/Condition/Vul. 연관규칙(Correlating Rule) - Scenario, Compound rule Threat Information DB 정규화 규칙 (Normalizing rule) 유해 정보(Malicious IP) - Black IP/URL - C2 IP/URL수집 가용성 모니터링 취약점 스캔 정규화 1차 탐지 ( IP/URL) 2차 탐지 ( Rules ) 3차 탐지 ( Advanced Rules ) 수집, 분석 및 탐지 In-Depth 분석 지원 자동 Ticket 및 경고 인시던트 관리 Report 보안관제 흐름 Knowledge Base 2 3 4 Conditional Detect Rules Threshold Detect Rule Scenario Detect Rule Integrated Detect Rule 자동 Ticket 생성 경보/경고 Mail/SMS Events on-the-fly Analysis Complex Correlation 복합 분석/탐지 Threat Intl. 취약점 연계 Reputation Geologic info. Historic Info. Asset Info. Vulnerability Big Data Engine 실시간 분석, 탐지 Engine RBL, C2 detect 공격자 자동 차단 Incident 대응 프로세스 시스템 운영 5 1 Security Analytics (detect)
- 20. 로그전송 1 2 3 45 Detection 공격자동탐지 Identification 공격자정보식별 Alert 침해위협자동발송 Deny 방화벽자동차단 Warning 조치 메일 자동발송 Risk Check Rule Gen Rule Executor Firewall Mail Mail SMS SMS 이벤트 감시 공격 IP 차단 설정 고객 침해위협 보고서 발송 대응 종료 공격탐지 경고메일 발송 Rule Engine Incident Case ResponseAutomation Security Application ( Response )
- 21. 보안운영/관리 Baseline 관리 Comm. 관리 보안자산 관리 서비스 수준관리 조직 관리 운영 관리 보안관리 엔진/ 보안 KB 서비스 취약점 관리 정책관리 Threat Intelligence 모니터링 가용성 관리 통합 위협 탐지 Reports Deployment SLA 이벤트 관리 Built-in 보안운영 절차 Managed Security ( Scope ) 보안관제 업무프로세스 현황파악/ 정책 셋업 보안솔루션 운영 탐지/분석 대응 보고/개선
- 22. • Real-Time Big Data 기반 보안관제 Platform • 보안 관제 표준 Business Process Management 적용 • 다년간 축적된 보안 관제 Knowledge 시스템 반영 • 업무 Automation & Orchestration 적용을 통한 업무 효율화 초당 10만 EPS 이상 지원 Real-Time Big Data 엔진 - Apache Spark CEP 기반 Rule 엔진 - Drools Rule 엔진 검증된 MapR 사용 관제 표준 프로세스 적용 - 통합 탐지 프로세스 - 장애 대응 프로세스 - 정책 변경 프로세스 BPMN 2.0 적용 - 국제 표준 규격 공격 탐지 Rule - Alarm/상관 탐지 CERT-DB - Black IP/C2 서버/악성 URL 보안 솔루션 운영 - 정책 변경/장애 대응 통합 공격 탐지 - 자동화 된 공격 탐지 정책 공격 차단 - 방화벽 자동 차단 엔진 보고 자동화 - 침해위협/경고메일/월간 보고