Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023
0 likes290 views
실시간 분석은 AWS 고객의 사용 사례가 점점 늘어나고 있습니다. 이 세션에 참여하여 스트리밍 데이터 기술이 어떻게 데이터를 즉시 분석하고, 시스템 간에 데이터를 실시간으로 이동하고, 실행 가능한 통찰력을 더 빠르게 얻을 수 있는지 알아보십시오. 일반적인 스트리밍 데이터 사용 사례, 비즈니스에서 실시간 분석을 쉽게 활성화하는 단계, AWS가 Amazon Kinesis와 같은 AWS 스트리밍 데이터 서비스를 사용하도록 지원하는 방법을 다룹니다.
![© 2023, Amazon Web Services, Inc. or its affiliates.
기업에서의 AWS 스트리밍 데이터 서비스 활용
Stream analytics and integration
Stream sources Stream ingestion Outcome
Stream storage
Amazon Kinesis Agent
AWS IoT Core
AWS Database Migration
Service (AWS DMS)
Amazon Kinesis
Data Streams
Amazon Managed
Streaming for
Apache Kafka
(Amazon MSK)
AWS
Lambda
Amazon
EMR
[Wed Oct 11 14:32:52
2018] [error] [client
/live/ap/htdocs/test
IOT sensors
Enterprise apps
Social media
Logs
Amazon Kinesis
Data Analytics
Stream processing
Stream integration
Amazon Kinesis
Data Firehose
AWS Glue
Amazon S3
Amazon Redshift
Amazon
OpenSearch Service
Amazon MSK connect
Automatic decision
Interactive dashboard
Alerting
Real-time ML inference
AWS SDK](https://image.slidesharecdn.com/d2507demystifydatastreamingonaws-230704012818-f936a094/85/Demystify-Streaming-on-AWS-Sr-Analytics-Specialist-WWSO-AWS-AWS-Data-Roadshow-2023-20-320.jpg)
Demystify Streaming on AWS - 발표자: 이종혁, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023
- 1. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. Demystify data streaming on AWS JongHyok Lee (he/him) Sr Analytics Solutions Architect AWS
- 2. © 2023, Amazon Web Services, Inc. or its affiliates. 데이터에서 인사이트 도출 방법은 항상 변화 데이터의 가치 대용량 파생된 인사이트 실시간 인사이트 빠른 속도 Data warehouse Data Lake Data Streams
- 3. © 2023, Amazon Web Services, Inc. or its affiliates. 실시간(Real-time)의 의미 마이크로서비스 반응분석 (웹 및 모바일 앱 알림) milliseconds 로그수집 IoT 디바이스 관리, 변경데이터 추출 (CDC) seconds 데이터레이크 및 데이터웨어하우스로의 스트리밍 ETL minutes
- 4. © 2023, Amazon Web Services, Inc. or its affiliates. 실시간 스트리밍 데이터 용어들 소스 Source 저장 Sink 데이터 보존 Data retention 생산자 Producer 소비자 Consumer
- 5. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. 유즈케이스와 스트리밍 데이터 파이프라인
- 6. © 2023, Amazon Web Services, Inc. or its affiliates. 로그 모니터링 플랫폼 현대화 데이터 웨어하우스 활용 준실시간 분석 커넥티드 디바이스 모니터링 일반적인 유즈케이스에서 관찰되는 데이터 스트리밍 주요 요건들
- 7. © 2023, Amazon Web Services, Inc. or its affiliates. 빠른 속도로 생산되는 대량의 데이터 다양한 형태의 데이터 수많은 데이터 원천 빠른 시간 안에 처리
- 8. © 2023, Amazon Web Services, Inc. or its affiliates. 실시간 스트리밍 데이터 파이프라인 Source 원천 Devices or applications that produce real-time data at high velocity Stream ingestion 스트림 수집 Data from tens of thousands of data sources can be collected and ingested in real time Stream storage 스트림 스토리지 Data is stored in the order received for a set time and can be replayed indefinitely during that time Stream processing 스트림 처리 Records are read in the order they’re produced, allowing for real-time analytics or streaming ETL Destination 대상 Data lake Data warehouse Database OpenSearch Event driven Applications
- 9. © 2023, Amazon Web Services, Inc. or its affiliates. 스트림 수집 • AWS IoT • Amazon CloudWatch • Amazon DynamoDB • AWS Database Migration Service • Amazon Redshift • AWS MSK Connect, Kafka Stream • Kinesis Agent • Kinesis Producer Library • AWS SDK Stream ingestion Toolkits/Libraries AWS service integrations
- 10. © 2023, Amazon Web Services, Inc. or its affiliates. AWS 상에서의 스트림 스토리지 Stream storage • 클라우드 네이티브 서비스 • 손쉬운 사용 • 탄력적인 서버리스 서비스 • 고가용성 및 보안 • 비용 효율적 • AWS 서비스들과 긴밀한 통합 Amazon Kinesis Data Streams • 완전관리형 Apache Kafka • 간편한 lift and shift 마이그레이션 • 클러스터 기반 및 서버리스 • 고가용성 및 보안 • 비용 효율적 • AWS 서비스들과 긴밀한 통합 Amazon MSK
- 11. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Kinesis Data Streams 손쉬운 관리 및 저렴한 비용 실시간 및 탄력적 성능 안전하고 내구성있는 스토리지 다수의 실시간 분석 애플리케이션에서 사용 가능 하나의 Standard consumer 당 평균 200ms의 latency Enhanced fan-out 사용 시 통상적으로 평균 70 ms latency Spark Apache Stream storage
- 12. © 2023, Amazon Web Services, Inc. or its affiliates. Kinesis Data Streams – On demand Stream storage 간편한 사용 – 용량 관리가 필요없어 스트리밍 데이터 처리가 간소화 유연한 확장 – 데이터 볼륨 변화에 따라 자동으로 용량 확장 가능 자동화된 고가용성 – 기본으로 제공되는 가용성 및 내결함성 비용 절감 – 데이터 쓰기, 읽기, 및 저장량에 따른 기가바이트 당 비용 지불
- 13. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Managed Streaming for Apache Kafka (Amazon MSK) 완전 관리형 고가용성 Apache Kafka 서비스로 데이터를 안전하게 스트리밍 자동화된 프로비저닝, 설정 및 튜닝 Apache Kafka 및 Kafka Connect 클러스터의 프로비저닝, 구성, 유지보수를 포함한 운영 오버헤드 제거 오픈소스 Apache Kafka와 완벽 호환 애플리케이션 코드를 변경할 필요 없이 Apache Kafka용으로 구축된 애플리케이션과 도구를 즉시 사용 높은 보안성 기본 수준 통합을 사용하는 안전하고 프로덕션에 바로 사용 가능한 애플리케이션을 인증과 권한관리를 위해 Amazon Virtual Private Cloud (Amazon VPC) 에 손쉽게 배포 저렴한 비용 다른 공급업체 대비 1/13의 저렴한 비용으로 제공되는 완전 관리형 Apache Kafka로 비용을 낮게 유지 Stream storage
- 14. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon MSK Serverless 간편한 사용, 고가용성, 유연한 확장 및 저렴한 비용 클러스터 용량에 대한 정확한 클러스터 사이징이나 오버프로비저닝에 대한 걱정 없이 Apache Kafka 클러스터 손쉽게 실행 가능 용량 스케일 업/다운 및 파티션을 재할당에 대한 고민 필요 없이 즉시 I/O 스케일링 처리량 기반 요금제로 스트리밍 및 저장된 데이터 량에 대한 비용 지불 매우 가변적인 워크로드에 비용 효율적 Stream storage
- 15. © 2023, Amazon Web Services, Inc. or its affiliates. 스트림 스토리지 vs 메시지 큐 Stream storage • 작업 단위는 Event stream • 다수 consumer가 모든 이벤트 read 가능 • 과거 이벤트 Replay / Reprocess 가능 • 이벤트 분석 및 연관관계 확인에 최적 • Exactly-once 지원 • Streaming store의 용량 관리 필요 스트림 스토리지 • 작업 단위는 개별 메시지 • 메시지는 consume 후 삭제됨 • 서비스 간 느슨한 결합 (loosely coluple)에 최적 • 간단하고 직관적인 API • 용량 관리 불필요 • 메시지 순서 관리되지 않음 메시지 큐
- 16. © 2023, Amazon Web Services, Inc. or its affiliates. AWS 상에서의 스트림 처리 Stream processing • 1초 미만 지연시간을 제공하는 실시간 분석 • 오픈소스 Apache Flink 기반의 SQL, Python 및 Scala를 사용한 스트림 처리 • Kinesis Data Analytics Studio를 통한 간단한 build-and-run 환경 • 탄력적 확장 가능한 서버리스 서비스 Amazon Kinesis Data Analytics • 코드 작성 없이 대상에 스트리밍 데이터 전송 • 다양한 대상 지원 • 데이터 변환 기능 제공 • 탄력적 확장 가능한 서버리스 서비스 Amazon Kinesis Data Firehose
- 17. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Kinesis Data Analytics Amazon OpenSearch Service Amazon Kinesis Data Streams Amazon MSK Amazon MQ Amazon S3 Custom connectors Additional streaming sources Amazon Kinesis Data Streams Amazon MSK Amazon Kinesis Data Firehose JDBC endpoints Amazon S3 Amazon OpenSearch Service SQL, Python, Scala, Java 또는 통합 Apache Flink 애플리케이션을 사용하여 실시간으로 스트리밍과 상호 작용 KDA Studio의 애드혹 분석을 KDA for Apache Flink에 내구성 있는 상태 보존 애플리케이션으로 배포 완전 관리형의 탄력적인 스트림 처리 애플리케이션 구축 OUTPUT Send processed data to analytics tools so you can create alerts and respond in real time Kinesis Data Analytics Studio (SQL/Python/Scala/ serverless notebooks) Stateful stream processing using Apache Flink KINESIS DATA ANALYTICS Stream processing
- 18. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Kinesis Data Firehose Amazon S3 Amazon Redshift / Serverless Amazon OpenSearch Service Splunk HTTP endpoints INPUT Kinesis Data Firehose로 데이터 캡쳐 및 전송 OUTPUT 선호하는 BI 도구 사용하여 스트리밍 데이터 분석 제로 관리 및 원활한 탄력성 데이터 저장소에 직접 통합 서버리스 형태의 지속적 데이터 변환 서비스 준실시간 Parquet/ORC로의 데이터 포멧 변환 Datadog, Sumo Logic, New Relic 및 MongoDB에 데이터 직접 전송 Kinesis Data Firehose 선택한 대상에 지속적으로 데이터 준비 및 적재 Stream processing
- 19. © 2023, Amazon Web Services, Inc. or its affiliates. 스트림 처리 Glue Streaming • 간단한 작업 스케줄링으로 복잡한 ETL 파이프라인 처리 • 스트리밍 데이터에 대한 정제 및 변환 • 데이터 스트림에 대한 스키마 관리 및 강제 • 스트리밍 데이터와 과거데이터를 연동한 준실시간 데이터 분석 • 데이터 웨어하우스와 관리형으로 통합된 손쉽게 사용 가능한 스트리밍 데이터 수집 Redshift Streaming Ingestion AWS Lambda • Kafka와 Kinesis 의 스트림을 서버리스 형태로 처리 • 자동 스케일링 • 다양한 언어 지원 Stream processing
- 20. © 2023, Amazon Web Services, Inc. or its affiliates. 기업에서의 AWS 스트리밍 데이터 서비스 활용 Stream analytics and integration Stream sources Stream ingestion Outcome Stream storage Amazon Kinesis Agent AWS IoT Core AWS Database Migration Service (AWS DMS) Amazon Kinesis Data Streams Amazon Managed Streaming for Apache Kafka (Amazon MSK) AWS Lambda Amazon EMR [Wed Oct 11 14:32:52 2018] [error] [client /live/ap/htdocs/test IOT sensors Enterprise apps Social media Logs Amazon Kinesis Data Analytics Stream processing Stream integration Amazon Kinesis Data Firehose AWS Glue Amazon S3 Amazon Redshift Amazon OpenSearch Service Amazon MSK connect Automatic decision Interactive dashboard Alerting Real-time ML inference AWS SDK
- 21. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. 참조 아키텍처 및 자주 사용되는 스트리밍 데이터 아키텍처 패턴
- 22. © 2023, Amazon Web Services, Inc. or its affiliates. 스트리밍 데이터 참조 아키텍처 https://docs.aws.amazon.com/wellarchitected/latest/analytics-lens/reference-architecture-2.html Amazon MSK kafka 1. Data Source 2. Stream ingestion and producers 3. Streaming storage 4. Stream processing and consumers 5. Downstream destination
- 23. © 2023, Amazon Web Services, Inc. or its affiliates. 실시간 원격 검침을 통한 애플리케이션 성능 분석 Amazon Kinesis Data Streams Raw metrics Raw traces Amazon OpenSearch Service Amazon Kinesis Data Firehose Aggregated metrics Raw traces Amazon Kinesis Data Analytics Amazon SNS Amazon Kinesis Data Streams AWS Lambda Alert
- 24. © 2023, Amazon Web Services, Inc. or its affiliates. 실시간 모뎀 단말 모니터링 Ingestion application Amazon Kinesis Data Streams AWS Lambda Amazon DynamoDB Customer application Current device status Amazon Kinesis Data Analytics Amazon OpenSearch Service Real-time dashboard Metrics aggregation
- 25. © 2023, Amazon Web Services, Inc. or its affiliates. 변경데이터 캡쳐 (CDC) 를 사용한 플랫폼 현대화 Amazon RDS MSK Connect Amazon S3 Data lake Amazon MSK MSK Connect AWS Lambda Amazon SNS Real-time alert CDC
- 26. © 2023, Amazon Web Services, Inc. or its affiliates. 데이터 웨어하우스 상의 준실시간 분석 Amazon Kinesis Data Streams Amazon Redshift Data sources Capture Transformation Amazon QuickSight Visualisation
- 27. © 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. DEMO
- 28. © 2023, Amazon Web Services, Inc. or its affiliates. DEMO STEP 1. KDS stream 생성 2. Data generator 에서 데이터 생성 3. KDA Studio 로 data query, aggregation, join 및 시각화 4. Stream 데이터를 Aggregation 해서 새로운 KDS Stream 으로 sink Stream processing Source Stream ingestion Destination Stream storage Data Generator Amazon Kinesis Data Streams Amazon Kinesis Data Analytics Studio Amazon Kinesis Data Streams Amazon S3
- 29. © 2023, Amazon Web Services, Inc. or its affiliates. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.