Confluent와 함께 Data in Motion 실현

Editor's Notes

• #2: 오늘 데이터 인 모션 투어에 참석해주셔서 감사합니다! 앞으로 몇 시간 동안 전문가들로부터, 데이터에서 가치를 창출하는 주요 방법에 대해 듣게 될 것입니다. 특히 이번 시간에는, 기본적으로 데이터가 무엇이며, 왜 움직이는 데이터 활용이 필요한지에 대해서 알아보고, Data in Motion, 즉 움직이는 데이터를 손쉽게 실현하는 방법에 대해서 살펴보겠습니다.
• #4: Data in Motion이 필수가 된 이유부터 살펴보겠습니다. 지난 몇 년 동안 매일 고객 경험이 완전히 재구성되었습니다. 은행에서 긴 줄을 서야 하는 시대는 지났습니다. 오늘날 모기지론은 온라인으로 몇 분 안에 승인될 수 있습니다. 앱을 통해 차량 서비스를 요청하는 것이 택시를 부르는 것보다 더 나은 경험입니다. 온라인 구매는 우리가 쇼핑하는 방식을 바꾸고 있습니다. 그 어느 때보다 데이터는 디지털 경제의 생명선이자 비즈니스 성공을 예측하는 기반이 되었습니다.
• #8: 한 걸음 물러나서, 어떻게 여기까지 왔는지 물어볼 가치가 있습니다. 기존의 데이터 페러다임은 저장 데이터에 맞게 구축되었습니다. 이 레거시 데이터 패러다임의 중심에는 관계형 데이터베이스가 있습니다. 데이터베이스의 기본 역할은 단순히 데이터를 저장하는 것이었습니다. 회사의 다른 곳에서 일어나는 일에 상호 연결하거나 대응하는 방법에 대한 개념이 없습니다.
• #9: 데이터베이스에 저장된 데이터를 활용하기 위해서, 두가지 방식을 주로 사용했습니다. 단순하고 정적인 쿼리를 사용하여 데이터베이스에 저장된 데이터를 조회하는 방식이 하나의 방법입니다. 다른 하나의 방법은, 매우 느린 일일 배치 처리를 사용하여 데이터를 필요로 하는 곳으로 전달하는 방식으로 데이터베이스내에 저장된 데이터를 활용하는 것입니다.
• #10: 그리고 결과적으로는, 데이터베이스를 중심으로 구축된 모든 유형의 임기 응변식의 통합 방식으로 이어졌습니다. 이러한 통합 방식을 살펴보면, 메시지 중심의 미들웨어 시스템을 사용하여, 단순하고 정적인 실시간 쿼리로 데이터를 조회하여 대기 시간이 짧은 애플리케이션에서 사용했습니다. ETL/ELT 도구를 기반으로 오프라인 분석을 위해 야간에 배치로 데이터베이스에서 데이터웨어하우스로 운영 데이터를 덤프하는 방식을 많이 사용했습니다. 또는 코드를 함께 붙이기 위해 값비싼 커스터마이징 엔지니어링 프로젝트를 채택하는 경우도 많았습니다.
• #11: 이것은 과거에는 눈에 띄게 잘 작동했지만 오늘날의 현대에서는 더 이상 작동하지 않습니다. 최신 데이터 스택이 폭발적으로 증가했고, 동급 최고의 도구를 채택하면서 모듈식 애플리케이션 개발 패턴이 등장했으며, 더 빠른 비즈니스 통찰력에 대한 큰 요구가 있습니다. 긴 지연 시간, 오래된 데이터 및 미성숙한 거버넌스를 가진 연결되지 않은 시스템 및 애플리케이션의 섬에, 중요 데이터가 저장되어 있는 경우, 필요한 모든 곳에서 이를 검색하고 액세스하고 사용할 수 있도록 하려면 어떻게 해야 할까요? 이를 위해서, 예전의 Point-2-Point 방식으로 계속 연결할 수 있을까요? 데이터를 경쟁 우위로 전환하고 팀과 조직의 민첩성과 혁신 속도를 높이는 방법은 무엇일까요?
• #12: 이제 데이터 스트리밍이 Data in Motion, 즉 실시간으로 움직이는 데이터를 실현하는데, 어떻게 도움이 되는지 살펴보겠습니다.
• #13: 데이터 스트리밍은, 데이터를 최고로 활용하기 위한, 근본적으로 다른 패러다임입니다. 여기서 데이터는 정적이거나 수동적이지 않습니다. 지속적으로 진화하고, 지속적으로 처리되고, 실시간으로 지속적으로 공유됩니다. 기본 개념은 데이터가 정지해 있지 않고 이동하며, 비즈니스 전반에 걸쳐 데이터의 실시간 흐름을 지원한다는 것입니다. 예를 들어, 소매업에는 주문, 판매, 배송, 가격 조정 및 반품의 흐름이 있습니다. 재무에는 주문 스트림, 주가 및 위험 계산 메트릭이 있습니다. 웹사이트에는 클릭, 노출, 검색 등의 스트림이 있습니다. 기술 산업은 이러한 유형의 데이터 캡처 및 사용을 대중화했습니다. 예를 들어, Google은 광고 클릭 및 노출의 흐름을 수십억 달러 규모의 비즈니스로 전환했습니다. 모든 기업은 기업 전반에서 실시간 데이터 액세스를 가능하게 하기 위해, 데이터 아키텍처를 완전히 재고하고 있습니다. Citibank는 "우리는 생각을 정지된 모든 것에서 움직이는 모든 것으로 전환해야 합니다."라고 말했습니다.
• #14: 이 움직임의 중심에는 데이터 스트리밍의 사실상의 표준인 Apache Kafka가 있습니다. Kafka는 데이터 스트리밍을 위한 압도적으로 지배적이고 가장 성공적인 오픈 소스 기술이 되었습니다. Fortune 500대 기업의 70%와 Fortune 100대 기업의 80% 이상을 포함하여 업종 전반에 걸쳐 수십만 명의 개발자가 사용합니다. 또한, 이들 대부분이 저희 Confluent의 고객입니다.
• #15: Apache Kafka는 아키텍처를 완전히 디커플링하고, 데이터 스트림의 호환성을 위해 스키마를 표준화하며, 어디서나 데이터 스트림을 결합하여 풍부한 데이터 보기를 제공하기 때문에 엄청난 인기를 얻었습니다. 따라서 단순한 메시징 시스템과 달리 Kafka를 사용하면, 데이터 종속 시스템이 가장 최신의 풍부한 데이터 세트에 지속적으로 대응할 수 있습니다. 특히, 요즘 많은 관심을 받고 있는 데이터 메시를 위한 데이터 플랫폼을 구성하기에 용이합니다. 데이터 메시는 MSA의 개념을 데이터 관리 및 운영에 적용한 데이터 아키텍처라고 할 수 있습니다. 데이터 메시에서 중요한 내용 중 하나가 바로 데이터 종속 시스템이 다른 곳에서 쉽게 사용할 수 있도록 가장 최신의 풍부한 데이터 제품을 빠르게 제공하는 것에 있습니다. 여기서, 데이터 제품이라 함은 데이터를 완성된 제품처럼 제공하는 개념입니다. 이러한 점들이 Kafka를 매력적으로 만드는 이유입니다. 데이터가 필요할 때마다, 새로운 정보를 즉시 제공하기 위해서, 쉽게 확장할 수 있기 때문입니다. 모든 데이터 제품이 풍부한 최신 보기를 가질 수 있도록 데이터를 지속적으로 강화하고 지속적으로 동기화하고 지속적으로 공유함으로써 데이터가 플라이 휠 효과, 즉 성장을 위한 선순환 구조를 갖기 시작합니다.
• #16: 이미, 3000개 이상의 기업들이 Confluent와 파트너 관계를 맺고 있습니다. 데이터 스트리밍의 업계 표준인 차별화된 클라우드 네이티브 플랫폼을 구축했기 때문입니다. Kafka와 해당 에코시스템의 전체 기능을 전 세계 기업에 제공하므로 데이터를 대규모로 가동할 수 있습니다.
• #17: 첫째, Confluent는 Apache Kafka의 원래 창시자에 의해 설립되었으며, 데이터 스트리밍 분야를 개척했습니다. Confluent팀은 Kafka에 대한 코드 커밋의 80%를 작성했습니다. 또한, Confluent는 백만 시간 이상의 Kafka 구축 및 운영 기술 경험을 보유하고 있습니다. 완전관리형 클라우드 서비스인 Confluent Cloud는 5,000개 이상의 클러스터를 운영하고 있습니다. 따라서 우리는 이 기술을 수많은 사용 사례에서 대규모로 실행하여, 최고의 Kafka 경험을 제공하는 것에 대한 기술력을 가지고 있습니다.
• #18: 금융 서비스의 Goldman과 Citi에서, 소매의 Walmart와 Home Depot, 운송의 BMW와 Lufthansa, 모든 산업 분야의 많은 대규모 고객에 이르기까지 모든 업종의 주요 기업과의 파트너십을 통해, 우리는 데이터 스트리밍 플랫폼을 구축하는 것뿐만 아니라 풍부한 실제 경험을 기반으로 컨설팅 서비스를 제공하고 있습니다. 엔터프라이즈급 데이터 스트리밍 플랫폼을 제공할 뿐만 아니라 귀사와 같은 조직이 모범 사례 및 백혈구 고객 지원을 통해 플랫폼의 가치를 실현할 수 있도록 지원합니다.
• #19: Confluent 솔루션을 통해 여러 사용 사례를 해결할 수 있습니다. 이는 시간이 지남에 따라 문제가 되는 P2P 연결로 인하여, 연결이 취약한 기존 데이터 파이프라인에서 볼 수 있는 많은 문제들을 해결합니다. 또한 데이터를 원활하게 공유하여 실시간 애플리케이션을 구동해야 하는 대규모 조직의 요구 사항을 해결하여 운영/분석 데이터 격차를 해결합니다. Apache Kafka는 백엔드 및 프론트엔드 요구 사항 전반에 걸쳐 사용 사례를 충족합니다. 여기에는 ETL, 메시징 시스템 또는 메인프레임과 같은 핵심 인프라 시스템을 점진적으로 현대화하고 고객 360, 사기 탐지, 실시간 모니터링, 스마트 분석 등과 같은 실시간 애플리케이션 중심 사용 사례를 강화하는 것이 포함됩니다.
• #20: Apache는 최신 데이터 아키텍처의 기초가 되었지만, 상자에서 꺼내자마자 최적의 최종 상태에 도달하는 데 필요한 모든 것을 제공하지는 않습니다. 커넥터는 개발, 테스트 및 유지 관리해야 합니다. 보안, 재해 복구 논리 및 관찰 가능성은 모두 맞춤형으로 구축되어야 합니다. 그리고 이 모든 것이 완료되더라도 플랫폼은 성능, 보안 및 가용성을 계속 유지하기 위해 상당한 운영 부담과 위험을 초래합니다. Confluent는, Kafka 사용 사례를 빠르고 안전하며 안정적으로 구현하는 데 필요한 모든 것을 제공하므로, 그 대신 비즈니스에 실질적인 가치를 제공하는 실시간 애플리케이션 개발에 집중할 수 있습니다. 첫째, Confluent는 무한한 용량, 주문형 확장성 및 퍼블릭 클라우드의 글로벌 특성을 설계의 모든 측면에 통합하는 완전 관리형 서비스를 제공하기 위해 처음부터 Kafka를 재구축하기 위해 비할 데 없는 전문 지식을 사용했습니다. 이것은 단순히 서버에서 Apache Kafka를 실행하는 것과 같지 않습니다. 클라우드에서 Kafka를 완전히 재설계하여 업계에서 가장 높은 안정성과 함께 사용하기 쉽고 비용 효율적이며 안전한 Kafka 버전을 제공했습니다. 두번째로, 어떤 것이 잘 작동할 때, 그것은 작게 오래 머물지 않고 성장합니다. 이와 같이, 데이터 원본과 대상이 증가하면, 120개 이상의 사전 구축된 커넥터를 사용하여 쉽게 연결할 수 있습니다. 개발자가 스트리밍 데이터에 대한 실시간 응용 프로그램을 쉽게 구축할 수 있도록 하는 기본 스트림 처리, 데이터 품질, 검색 및 리니지를 관리할 수 있는 데이터 거버넌스 기능 및 수백 가지의 기타 복제, 보안 및 관찰 기능과 결합하여 Apache Kafka를 완성합니다. 그리고 마지막으로 Confluent는 온프레미스는 물론 모든 주요 클라우드에서 클라우드 서비스를 제공함으로써 귀하가 있는 곳에서 쉽게 사용할 수 있습니다. 또한 우리는 이러한 멀티/하이브리드 클라우드 환경을 원활하게 연결하고, 데이터 공유하여, 전 세계적으로 데이터를 사용할 수 있도록 지원하고 있습니다. Confluent와 협력하면 4가지 주요 이점이 있습니다.
• #21: 첫째, Confluent는 데이터 스트리밍 아키텍처를 위해 온프레미스, 하이브리드 클라우드 및 멀티클라우드 배포의 조합을 지원하는 유일한 회사입니다. Confluent를 기반으로, 모든 시스템, 데이터 및 애플리케이션을 연결하고, 이러한 격리된 환경에 있는 중요한 데이터를 잠금 해제하고, 필요한 곳이면 어디든 실시간으로 해당 데이터를 스트리밍할 수 있습니다. 즉, 데이터의 위치나 액세스 방법에 대해 걱정할 필요 없이, 원하는 클라우드 서비스를 사용하여 실시간 애플리케이션을 구동하기 위해 해당 데이터를 적용할 준비를 보다 더 쉽게 할 수 있습니다. Confluent를 제외한, 네이티브 호스팅 클라우드 제품들은 이를 제공할 수 없습니다. 하나의 클라우드 제공업체에서 다른 클라우드 제공업체로 마이그레이션하기로 선택한 경우 클라우드 전반에서 원활한 데이터 이동 기능을 통해, 종속성을 쉽게 제거할 수 있습니다.
• #22: 둘째, Confluent의 Stream Governance 제품군은 분산된 팀이 데이터를 검색, 이해 및 신뢰하여 전체 가치를 활용할 수 있도록 합니다. 스트림 카탈로그: 팀이 필요한 이벤트 스트림을 분류, 구성 및 찾을 수 있도록 셀프 서비스 데이터 검색으로 협업 및 생산성 향상 스트림 리니지: 데이터 스트림의 대화형 종단 간 맵을 통해 복잡한 데이터 관계를 이해하고 더 많은 통찰력을 발견하는 데 도움이 됩니다. 스트림 품질: 신뢰할 수 있는 고품질 데이터 스트림을 비즈니스에 제공하고 데이터 무결성을 유지하는 데 도움이 됩니다. 분산된 팀이 데이터를 검색, 이해 및 신뢰할 수 있을 때, 엄격한 규정 준수 요구 사항을 유지하면서, 차별화를 주도하고 고객 만족도를 높이는 실시간 경험의 개발을 가속화할 수 있습니다. 스트림 거버넌스는 끊임없이 진화하는 데이터 규정 환경 내에서 규정을 준수하면서, 데이터 중심 비즈니스가 되는 데 필요한 협업 및 지식 공유를 촉진하는 열쇠입니다.
• #23: Confluent의 완전 관리형 클라우드 네이티브 플랫폼을 사용하면, 수요가 최고조에 도달하면 확장하고 수요가 감소하면 축소할 수 있습니다. 따라서, 자세한 용량 계획이 필요 없고, 인프라 오버 프로비저닝의 위험이 줄어듭니다. 99.99% uptime SLA, 자동화된 클러스터 관리, 장애 조치 및 복구, 고급 제어 기능을 통해 비즈니스 중단을 최소화하고 자신 있게 운영할 수 있습니다. 즉, 복잡한 Kafka 관리를 처리하기 위해 프로젝트를 중단할 필요가 없으며, 그 대신 고객을 위해 더 많은 가치를 창출하는 데 집중할 수 있습니다.
• #24: 그리고 이는 운영 비용을 없애고 CAPEX에서 OPEX로 전환하며, 오버 프로비저닝된 컴퓨팅 또는 스토리지의 필요성을 줄이고, 사용한 만큼만 비용을 지불함으로써 소유 비용을 낮추고 ROI를 가속화하는 데 도움이 됩니다. Forrester의 최근 독립적인 Total Economic Impact 연구에서는 Confluent가 더 적은 비용으로 더 많은 작업을 수행하는 데 어떻게 도움이 되는지 강조합니다. 이 연구에서는 고객이 수백만 달러의 TCO를 절감하도록 지원한 방법을 강조합니다. 개발, 운영, 인프라 및 다운타임 비용을 고려할 때, 결국은 자체적으로 데이터 스트리밍 플랫폼을 구축 및 운영하는 것보다, Confluent를 사용하는 비용이 훨씬 저렴해집니다. 이것이 바로 수천 개의 기업이 Confluent와 파트너 관계를 맺는 이유입니다. 이 연구에 따르면 기업은 평균적으로 Confluent와 협력하여 각각 257만 달러를 절약했으며 투자 회수 기간은 6개월 미만이고 ROI는 257%입니다.
• #27: 이것이 바로 Kafka가 조직의 모든 시스템, 애플리케이션 및 데이터 저장소를 함께 연결하여 실시간으로 지능적으로 반응하고 대응할 수 있도록 하는 중추 신경계(lingua franca)와 같은 역할을 하는 이유입니다. 시스템 간의 복잡한 연결이 모두 제거되어 전체 글로벌 비즈니스에서 데이터가 자유롭고 안전하게 흐를 수 있습니다. 시스템을 완전히 분리하고 데이터를 작동시키면, 팀이 더 민첩해지고 실시간 애플리케이션을 더 빠르게 구축할 수 있습니다.