아직도 파이썬으로만 머신 러닝 하니? 난 SQL로 바로 쓴다. - 송규호, AWS 솔루션즈 아키텍트/ 정의준, AWS 테크니컬어카운트 매니저:: AWS Summit Online Korea 2020
0 likes228 views
발표영상 다시보기: https://youtu.be/-SRPci88WCM 더 이상 머신 러닝을 어렵게 적용하지 마세요! AWS의 AI/ML 서비스에서 학습한 모델을 데이터 처리에 직관적인 SQL문을 이용해서 직접 활용할 수 있습니다. 이를 통해 어떻게 분석 프로세스를 개선할 수 있을 지 또 분석가들과의 협업 모델은 어떻게 바뀌는 지 알아보겠습니다. Amazon의 AI/ML 서비스들 (Amazon SageMaker, Amazon Comprehend)과 데이터베이스/쿼리 서비스로 (Amazon Aurora 그리고 Amazon Athena) 구성된 데모도 함께 준비되어 있습니다.
아직도 파이썬으로만 머신 러닝 하니? 난 SQL로 바로 쓴다. - 송규호, AWS 솔루션즈 아키텍트/ 정의준, AWS 테크니컬어카운트 매니저:: AWS Summit Online Korea 2020
- 1. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 아직도 파이썬으로만 머신 러닝 하니? 난 SQL로 바로 쓴다. 송규호 솔루션즈 아키텍트 AWS Korea 정의준 테크니컬 어카운트 매니저 AWS Korea
- 2. Today’s Speaker Gyuho Song Solutions Architect Big Data / Machine Learning / Cloud Computing Enterprise consulting Euijun Jeong Technical Account Manager Big Data / Search Engine Developer Who we are
- 3. Amazon Go는 단순한 무인 상점이 아닙니다. Amazon은 플랫폼 사업을 합니다.
- 4. 분석 환경의 변화 그리고 변하지 않은 Business 변하는 것 그리고 변하지 않는 것 진화하는 데이터 분석 환경 Business intelligence 사업 대신 AI Business 분석가들 보다는 데이터 분석가 통계학자들과 Software 개발자들은 Data Scientist가 됨 값비싼 상용 분석 Software 대신 개발자 Community에서 유행하는 오픈 소스 협업 툴 데이터 분석 역량이 기업의 보편적 역량으로 변함 없는 Business 목표 기업들은 여전히 revenue를 창출하는 것이 목표 기술은 Businesses에 활용될 때야 비로소 유용한 것 Collaboration is everything 프로세스를 개선하고 좋은 문화를 만드는 것
- 5. Create an analytics flywheel Business에 반영되는 선순환 구조 승객 마일당 매출 증가 사용 가능한 좌석 마일당 비용 절감 요금 최적화 Demand forecasting 서비스 추천 Microtargeting 비행 중단 예측 기체 점검 관리 분석 And more… Ticket 요금 비행 스케쥴 고객정보/ 충성도 비행기 운용 비용 정보 기체 측정 데이터 And more… Delightful user experience 항공 사례 More users Meaningful impact More data Better analytics
- 6. 완벽한 Data Scientist? 원하는 인재상 Statistic, Machine Learning, AI, Developer 비즈니스 이해도 Communication skill 카리스마 보편적인 역량과 문화
- 7. Machine Learning 도입의 어려움 Want to be data-driven company 기술 습득의 어려움 데이터 분석가 Data privacy, 보안, compliance and governance Machine learning을 쿼리로 적용할 수 있다면?
- 8. Machine Learning 도입의 어려움 Want to be data-driven company 쉽고 익숙한 SQL 활용협업 체계 수립 데이터 베이스의 권한 체계를 활용한 접근 제어 인건비 절약 및 비즈니스 가치 창출 생산성 향상 데이터 분석 실무 경험 축적 Machine learning을 쿼리로 적용할 수 있다면?
- 9. Machine learning in the house 각자가 잘하는 곳에 역량을 집중하면서 서로의 분야에 대해서 익히기 Consumers (Application, BI, etc) Call inference Query data Amazon SageMaker 현업 사용자, 개발자/엔지니어 데이터 분석가 활용에 집중 분석에 집중
- 10. ML in Aurora / Athena Aurora / Athena의 SQL 구문 내에서 ML 모델을 직접 호출 관계형 데이터 베이스에서 직접 ML 호출 ML에 전문적인 지식없이 친숙한 SQL 구문을 사용 보안 & governance 최적화Amazon SageMaker와 Amazon Comprehend 통합
- 11. From six steps when we inference in old days 이전의 데이터 inference 프로세스 Typical steps require ML expertise & manual work 데이터베이스에 저장된 데이터를 Application에서 읽는 code를 작성 2 ML model에 적합한 Format으로 데이터를 전처리 3 전처리된 데이터를 ML Model에 넣어서 Inference 4 ML model 학습1 Inference 결과를 application에 맞게 재처리 5 Application에 결과 값을 출력 6
- 12. To three steps in new world 개선된 데이터 inference 프로세스 SQL query를 이용해서 ML Model 및 서비스를 호출 2 ML model을 학습1 Application에서 결과 값 출력 3 Use the familiar SQL language for training & prediction
- 13. 좋은 모델을 만들고 활용하기 위해서 지속적인 피드백으로 개선하는 ML 모델 비즈니스에 활용ML 모델
- 14. ML in SQL examples SELECT * from product_reviews WHERE aws_comprehend.detect_sentimen t (review_text, ‘EN’)' = 'NEGATIVE' CREATE TRIGGER insert_check BEFORE INSERT ON sales FOR EACH ROW BEGIN IF is_transaction_fraudulent(column1, column2, column3 …) = 'True' THEN rollback; END IF; END; SELECT * from customers order by predicted_future_spend (column1, column2, ...)
- 15. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 16. Demo It’s show time E-Commerce data 1) SageMaker를 이용해서 과거 구매 패턴 학습 SageMaker를 이용해서 학습한 추천 모델을 Aurora에서 활용 2) Aurora에서 SageMaker Model endpoint에 SQL을 이용해서 Inference 해서 추천 후보군 1차 도출 3) Comprehend를 Aurora에서 직접 호출하여 상품 Review data의 Sentimental 분석 결과를 더해서 최종 추천 품목 제시
- 17. Demo Architecture Amazon Comprehend Amazon SageMaker Amazon S3 Amazon Aurora Amazon QuickSight Application Training Deploy Call to inference
- 18. Demo 리뷰 주요 Configuration 및 사용 SQL example CREATE FUNCTION recommend_score ( user_id BIGINT(20), product_id BIGINT(20)) RETURNS double alias aws_sagemaker_invoke_endpoint endpoint name 'sagemaker-mxnet-2020-04-05-09-40-05-472’; SELECT *, recommend_score(user_id,product_id) recommend_score FROM inputs;
- 20. Demo 리뷰 권한 설정 및 Model output format
- 23. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 24. 감사합니다 © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.